先锋 趋势 方法 投研 作者
「AI Infra 就是命运」 | 对谈王雁鹏:亲述从大数据时代到 3 万卡集群的中国算力演进史
返回节目精读

「AI Infra 就是命运」 | 对谈王雁鹏:亲述从大数据时代到 3 万卡集群的中国算力演进史

摘要

  • 王雁鹏把中国互联网基础设施的演进概括为三次跃迁:大数据用廉价机器和分布式软件替代昂贵专机,云用虚拟化交付弹性,AI 则把计算核心从 CPU 推向 GPU。 前两轮仍建立在通用计算上,这一轮却要求模型、算子、芯片和集群共同设计;这意味着 AI 创新开始受物理世界约束,也对应主持人开场提到的 OpenAI《Infra Is Destiny》判断。

  • 大模型把不可控的算法突破变成可复制的工业过程,而算力正在成为算法、数据之外更底层的主变量。 scaling law 让参数量和训练数据的扩张持续换取能力;当互联网数据接近用尽,合成数据、强化学习、清洗和过滤又都要消耗计算,形成“更多算力—更多优质数据—更多智能”的正循环。王雁鹏判断,算力会发挥越来越重要的作用。

  • DeepSeek 的意义不是证明“巧劲可以替代算力”,而是展示软硬件协同如何提升整体智能效率。 王雁鹏将其拆成两部分:每个 token 能提升多少智能是算法效率,一个 token 需要多少算力是算力效率;两者相乘才是最终的智能效率。DeepSeek 按现有 GPU 和集群特性设计 MoE,在硬件并不天然擅长的稀疏计算中重新排布负载,展示了“模型架构跟硬件有深刻的结合”。

  • 百度自研芯片的单体 3 万卡集群建成后仅用两三个月便被全部用上,说明被压抑的训练需求远大于新增供给。 王雁鹏称,海外训练最先进模型的头部集群已在 10 万卡级别,而国产卡性能仍与 NVIDIA 有差距;这不是简单的“3 万对10 万差百分之多少”,而是能否扩大模型、进行更大规模探索并逼近前沿的问题。

  • 面对“GPU 和数据中心半年至一年半便过时”的质疑,王雁鹏给出的答案是:只要相信这是一轮工业革命,建设就不是可选项。 他判断当前范式下新增算力“一定能产生更好的结果”,争议只是应用价值提高 10 倍还是100 倍、100 倍在三年还是五年到来;建设的本质,是把创新和价值兑现的时间往前拉。

  • NVIDIA 的护城河并非单纯芯片性能,而是 CUDA、工程服务和前沿模型共同构成的软硬件循环。 王雁鹏回忆,早期 NVIDIA 会派大量工程师逐模型、逐算法优化,公司“百分之八十的人是做软件的”;其市值也从当年约100 亿美元升至约4 万亿美元。中国若要诞生自己的 NVIDIA,必要条件不是先复制一块卡,而是让持续领先的模型真正诞生在国产芯片上。

  • Google、Meta 与 OpenAI 展示了三种不同的 AI infra 下注方式:积累全栈底座、用重金补团队、以未来预期撬动长期基建。 王雁鹏最看重 Google 从 TPU、JAX、云到模型和应用的长期势能;他认为 Meta 每年约1000 亿美元买 GPU 时,再花20 亿美元挖20个人在财务上合理,但临时拼团队“不健康”;他认为 OpenAI 则是在“上杠杆”,用远期愿景推动周期长达十年的电力与数据中心投资。

  • AI infra 创业有真实需求,却未必容易长出独立巨头;更可能的机会在特定客户或场景里做深。 原因是每个模型、每款芯片、每种集群规模都需要不同优化,但通用平台与云厂商高度重合、差异化艰难。对人才而言,新的门槛也已改变:预训练阶段算法与 infra 必须深度融合,不懂其中一方可能直接失去竞争力,全栈能力正从锦上添花变成必需品。

精读

1. 大数据时代先冲击了昂贵专机和高阶服务器

  • 王雁鹏把职业生涯的起点放在 Google 三篇奠基性论文上:MapReduce、Bigtable 和 GFS。传统 IBM 大型机、惠普和戴尔服务器、Oracle 数据库服务的规模,与互联网数据量“基本上差两个数量级”,既贵,也无法满足需求。

  • Jeff Dean 推动的关键理念,是用 commodity hardware 构建高性能系统:几万台接近家用 PC 的简单机器不承担复杂容错,可靠性、分布式计算与分布式存储全部交给软件。“硬件相对来说是容易的,是简单的”,难题被转移到系统层。

  • Hadoop 等开放生态随后让原本高端、闭源的并行计算和分布式存储能力变得可复制。百度搜索是国内最早遭遇海量数据挑战的单体应用之一,因此也较早进入数据中心,自研服务器、软件和整套基础设施。

2. 云计算把“搬服务器”变成了点几下鼠标

  • 主持人用饭否时期的经历说明云之前的摩擦:流量突然上涨,他和王兴坐黄色出租车把刀片服务器运到北京西站机房,上架后再打电话让办公室同事确认,“简直像史前时代一样”。主持人认为,今天的工程师可能会觉得“不就是点两下鼠标”吗。

  • 王雁鹏把第二次跃迁归结为弹性。亚马逊面对电商淡旺季形成的闲置服务器,将资源出租,并通过虚拟化让用户看到一台可登录、可配置 CPU、内存和硬盘的“单机”,无需再接触机房与物理设备。

  • 数据中心可以管理几万台物理服务器,却向用户虚拟出几十万台机器,并随时缩放资源。智能网卡承担虚拟化平台的角色,把底层物理资源与用户所见的云资源隔开,这套架构的中心不再只是规模,而是“极致的弹性”。

3. GPU 改写了延续数十年的通用计算契约

  • CPU 的优势是处理复杂逻辑和保持通用性,但代价也明显:王雁鹏估计,发展到后来“可能只有百分之十的单元是给计算用的”,其余百分之八九十用于 cache、控制、乱序执行和预测。

  • 图灵完备的指令集让 CPU 实现软硬件解耦;硬件沿摩尔定律约每一年半迭代,旧软件通常无需改动便能获得接近同步的性能提升。无论大数据还是云,本质上仍在这套 CPU 体系内发展。

  • GPU 则把晶体管空间几乎全部给了计算,以极弱的复杂控制能力换取几十倍算力。代价是每个算法、算子和模型都要做特制优化,而且硬件换代往往带来软件适配;“我必须要软硬一体”,成为这一轮基础设施的根本变化。

4. CUDA 的生态壁垒来自软件工程,不只来自芯片

  • NVIDIA 最初做 CUDA,并不是已经预见深度学习,而是希望把显卡算力抽象出来,让用户能够自定义编程。早期主要使用者是大学研究者;以 Hinton 等人为代表的深度学习浪潮,恰好把这一工具带入产业。

  • 百度较早成立深度学习实验室 IDL,NVIDIA 会派许多工程师与团队一起优化不同算法、场景和模型。王雁鹏由此意识到,NVIDIA 与 Intel 很不一样:它虽是芯片公司,却“有百分之八十的人是做软件的”。

  • 当时 NVIDIA 市值约100 亿美元,百度约300亿至400亿美元;如今主持人与王雁鹏在节目中以约4万亿美元回望,后者笑称:“如果那时候预见到了,那我们早买它股票了。”

  • 第一轮 AI 芯片创业潮没有真正起来,关键并非硬件无法堆算力,而是深度学习早期存在大量小模型和变种,逐一适配的软件成本过高。创业公司很难在 CUDA 已覆盖的生态里“跟英伟达掰手腕”。

5. scaling law 把模型创新变成了工业大生产

  • 早期深度学习仍由算法创新驱动,需要研究者“灵光乍现”:一个场景解决后,迁移到另一个场景又要重新设计,发现过程不可控,落地预期有限。因此 GPU 当时只是 CPU 的补充,而非新计算平台的中心。

  • 大模型带来的工业范式是持续 scaling 参数量与训练数据,换取持续增强的能力。它类似 CPU 时代由摩尔定律推动整个软件世界,只是新的生产函数变成:扩大模型和数据规模,就能扩大智能。

  • NLP 曾被视为研究皇冠,因为语言包含大量语义和不同任务;前一轮深度学习主要突破人脸、车牌等视觉识别,被形容为解决“四五岁小孩能做的事儿”。大模型却率先捅破 NLP 的天花板,并展现跨任务泛化,这是业界普遍未预料到的跃迁。

  • 效果突破与生产方式可复制同时发生,才让计算平台真正从 CPU 迁向以 GPU 为核心。王雁鹏的判断是,算力能催生多少智能,新增智能又会反过来消耗更多算力,形成不断增强的循环。

6. 数据枯竭反而进一步抬高了算力权重

  • 在算力、算法、数据三要素中,王雁鹏认为算法仍有创新,但主方向已经相对一致;更直接的约束是“互联网上的数据其实都用得差不多了”,模型进入可用数据不足的阶段。

  • 下一代模型会更多依赖合成数据,强化学习本质上也是模型自行生成数据。生成之外,清洗、过滤并筛出优质数据同样消耗计算;因此更多算力不仅扩大模型,也扩大可制造、可处理的数据供给。

  • 这形成了他所描述的闭环:算力制造和筛选数据,优质数据再反哺训练。即便如此,算力也不是把卡堆起来便自动成功;他以 Meta 为例指出,“还是要顶尖的 talent”,工程和研究创新仍决定资源能否转化为模型能力。

7. DeepSeek 展示巧劲与堆算力并不矛盾

  • 主持人把 DeepSeek R1 与 OpenAI“星际之门”并置:一边主张“大力出奇迹”,另一边认为中国可以用巧劲突破算力决定论。王雁鹏的回答是:“这两个东西不矛盾”,因为任何算法和数据创新最终都要落到足够算力上。

  • 他的拆解是:每个 token 能提升多少智能,代表算法效率;一个 token 需要多少计算,代表算力效率;两者相乘才是整体智能效率。DeepSeek 的价值,是展示算法侧改善也可能带来很大增益,避免只能用10倍、100倍硬件换取进步。

  • 最让他“眼前一亮”的不是孤立算法,而是模型架构与现有 GPU、集群紧密耦合。MoE 从密集计算转向稀疏计算,但 GPU 不擅长充满空洞的稀疏矩阵;只追求更高稀疏度,可能反而无法在硬件上高效运行。

  • DeepSeek 因而提供了一个软硬件协同样本:从 GPU 和集群的执行特性出发设计模型,重新安排“哪里算、哪里不算”。这不是坐在家里抽象地设计 MoE,而是让算法效率真实兑现为系统效率。

8. 大公司将主导现有范式,下一代架构仍可能从别处出现

  • 如果沿 scaling law 继续前进,王雁鹏判断更多前沿研究会在拥有海量算力的大公司发生;中小公司和大学很难以相同规模做模型探索。不过他保留了关键不确定性:“这个东西它可能不是智能的终极形态。”

  • 人脑没有消耗如此多的算力和电力,提示当前神经网络可能远非最高效架构。主持人援引 Andrew Kapasi 的说法,把 Transformer 比作在制造初级动物;两人也提到 Hinton 对 Transformer 通往 AGI 的怀疑,以及他对胶囊网络等方向的探索。

  • 王雁鹏认为,人脑更像触发式计算,而不是持续暴力计算。类脑网络、更高级的压缩算法等范式创新仍值得研究,并且同样会要求软硬件一体化:若计算方式改变,芯片也“肯定跟今天不一样”。

  • 录制当天发布的 DeepSeek OCR 被作为另一种线索:人类记忆和阅读未必逐字处理 token,而是通过视觉表征组织信息;若用图像压缩输入,存储和传输效率可能提高。这类探索与扩大现有模型规模并非同一条研究路径。

9. 3 万卡国产集群很快被用满,揭示的是供给约束

  • 王雁鹏称,百度已经建设自研芯片的单体3万卡集群,应该是目前国内最大的国产单体集群,较先进的模型训练任务已在其上运行。“从建起来到全部给用上,可能只花了两三个月的时间。”

  • 快速满载说明许多创新和实验此前一直“被算力给压抑住了”。新增资源一旦上线,等待中的需求便迅速吞掉容量,因此3万卡不是绰绰有余的终点,而只是被立即吸收的一次供给扩张。

  • 他估计 Meta、OpenAI、xAI 等头部公司训练最先进模型的集群已在10万卡级别。国内不仅卡数更少,国产卡性能与 NVIDIA 仍有差距,且受客观条件限制难以获得足够算力,这已经制约模型规模和探索空间。

  • 主持人追问3万卡与10万卡究竟差70%、20%还是数倍;王雁鹏没有给出虚假的线性换算。他强调,探索更先进模型就必须向更大规模走,差距体现在能够尝试什么,而不只是一次训练速度的百分比。

10. 电力、液冷和网络正在变成模型能力的一部分

  • 3万卡集群已要求大规模液冷和长距 RDMA。传统 RDMA 面向较小互联范围;扩展到3万乃至10万卡后,距离增加,协议、网络拓扑和扩展方式都必须重新设计。

  • 供电尺度也从单楼升级为园区:过去一栋楼的变电站已经不够,可能需要园区级变电站配套。

  • 主持人进一步指出,老旧数据中心“一定满足不了需求”,而今天的新建机房也可能只够本代产品使用。下一代计算要求更高的单柜密度、机房密度和供电能力,基础设施建设速度仍跟不上算力与能源需求。所谓 AI infra 因此已越过服务器和软件,延伸至冷却、输电、园区规划和跨机房网络。

11. “很快过时”不是停止建设的充分理由

  • 主持人提出基础设施泡沫最强的反方论点:光缆铺好后可以使用多年,GPU 和数据中心却可能半年或一年半便落后一代,巨额资本开支或许会整体浪费。

  • 王雁鹏把判断条件收束为:是否相信这是一轮新的工业革命。卡不是静态资产,而是支持创新的工具;像蒸汽机继续演化一样,模型成果“日新月异”,而这些成果都以现有算力为前提。

  • 在当前范式下,他相信堆出更多算力“一定能产生更好的结果”。真正的不确定性,是应用价值提高100倍还是10倍,以及100倍在三年还是五年到来,而不是只有10%的边际改善。

  • 因此主持人总结为“建或不建,并没得选”;王雁鹏认同。建设的目的,是让更好的创新更早发生、把未来到来的时间缩短;把观察尺度拉长后,他不认为这构成大的浪费。

12. 百舸 5.0 把规模、拼接与工程效率放在同一平台

  • 百舸从百度内部十多年 AI 基础设施演化而来,如今同时服务内部和外部客户。王雁鹏将其定义为“一个高效的基础设施平台”,核心任务是让不同类型的算力稳定支撑训练、推理和前沿研究。

  • 第一项能力是规模:平台可支持万卡级单体任务,并处理机房、稳定性、网络扩展和长时间训练等完整技术栈。第二项是“异地、异构、异网”,让不同芯片、地域和网络环境中的算力能够更轻松地拼接使用。

  • 第三项是极致工程效能。训练、推理引擎和强化学习框架若提升10%性能,可能就意味着少用10%的卡;在大集群上,这对应的不是小幅优化,而是“天文数字”的成本差异。

  • 面对百舸5.0“迄今为止最强大的 AI 计算平台、没有之一”的表述,王雁鹏没有退回谦辞。他将信心归因于从2012年开始做 GPU、长期服务真实场景,以及百度从芯片、云平台、模型到应用的四层全栈投入。

13. 国产 NVIDIA 必须与最前沿模型共同长出来

  • 王雁鹏认为中国“一定会有”自己的 NVIDIA,因为 AI 竞争被视为国力竞争,国产芯片关系到能否掌握命脉。

  • NVIDIA 的循环是:最先进的平台吸引最先进模型,模型在其上训练后又与平台深度绑定,下一次基础设施采购自然继续选择成功概率最高的方案。算法几个月便可迭代,一款芯片却要数年,周期错位进一步强化了这种绑定。

  • 因此国产芯片成功的必要条件,是“跟最先进的模型一起出来”。只有当中国最先进、乃至持续最先进的模型在国产芯片上训练出来,芯片才有更高概率真正建立生态,而不是停留在兼容或替换层面。

  • 3万卡国产集群已承载许多训练任务,是显著进展,却还不是终局。训练必须从小到大、覆盖更多任务并达到稳定,才可能逐步推向最前沿模型;王雁鹏明确承认,“现在还没有达到我们刚才说的那个状态”。

14. Google、Meta、OpenAI 分别押注底座、人才与杠杆

  • Google 曾在 OpenAI 崛起后从技术领导者显得明显落后,但王雁鹏认为它拥有“最好的禀赋”:长期自研 TPU,布局框架、云、模型和应用,且不像 NVIDIA 必须靠卖芯片赚钱,理论上是全世界最不缺算力的公司之一。

  • TPU 同样由 Jeff Dean 推动;Google 后来内部更多使用轻量化的 JAX,而不是 TensorFlow。近期表现回升让王雁鹏看到,芯片、框架、云、模型和单体应用形成的全栈基础“是不容撼动的”。

  • Meta 的重金挖人,在账面上有合理性:若每年约1000亿美元购买 GPU,即使按每人1亿美元挖20人,也只有20亿美元。但他“不太看好”临时拼凑团队的方式,认为持续创新需要稳定团队和文化;Llama 的表现没有那么好,反映的可能不是缺卡,而是团队建设出了问题。

  • 主持人以传闻中的1000亿美元“星际之门”、与 Oracle 的3000亿美元订单及4.5GW数据中心说明 OpenAI 的下注规模。王雁鹏认为其模式是在“上杠杆”,用未来预期推动投入:算法数月、芯片约两年,电力和基础设施则可能要十年乃至数十年,长周期环节必须更早启动。

15. AI infra 创业有空间,却很难绕开云厂商

  • 机会首先来自需求体量和软件复杂度:计算生态由 CPU 转向 GPU,算力规模大幅增长;每个模型、每款芯片以及万卡或10万卡集群,都有不同的工程实现和优化点。

  • 技术做得好不好,会直接造成算力效率的巨大差异,因此调度、训练、推理和特定场景优化都有价值。但王雁鹏指出,多数 AI infra 创业公司的技术栈与商业模式,同云厂商“高度重合”“几乎没有差别”。

  • 被问到若有1000万美元会投哪家公司时,他坦率回答:“我还没有特别看好,说我一定想投哪一个。”他的判断不是行业没有机会,而是通用平台难形成足够差异化。

  • 更可能成立的路径,是围绕某一类客户或某一具体场景深入提供特殊价值。“这个方向有机会,但在这个方向上你可能做不出巨头”,是他对创业回报边界的保守判断。

16. Infra 的职业回报来自长期积累与贴近真实客户

  • 基础设施工作常陷入尴尬:稳定时被视为天经地义,宕机时才被“游街示众”;在小平台还容易变成什么都修、杂而不精的运维。王雁鹏建议希望做重大 infra 创新的人优先选择有规模、有资源的大平台。

  • 他早年自研服务器的目标非常具体:商业服务器与自研方案的成本可能相差一倍,降本本身就是明确价值。如今大模型创新更依赖昂贵资源,他认为年轻人在职业早期进入头部平台的重要性,甚至高于模式创业盛行的互联网时代。

  • 第二个条件是靠近客户,与搜索、NLP、语音、视觉等业务共同创新。百度早期自研 SSD 后可以直接用于搜索,反馈路径远短于一家独立 SSD 公司先造产品、再找客户、再争取装入服务器。

  • 百度最高奖面向10人以下、创造超预期价值的小团队;奖金金额在对话中先后出现100万美元和100万人民币两种说法。王雁鹏表示自己参与过多个获奖项目,其中许多由 infra 与业务团队联合完成。这种小团队和明确场景,使慢周期基础设施也能获得及时反馈。

17. 算法与 infra 的融合已从加分项变成生存条件

  • 基础设施的天然反馈周期仍长:机房和集群建设耗时,芯片开发更慢。但王雁鹏把这种职业积累比作“练内功”——只有长期理解计算机体系结构,才可能在关键时刻做出真正不同的设计。

  • 预训练尤其要求算法和 infra 深度融合,因为模型架构的扩展性、算子效率和训练成本从设计第一天就彼此绑定。他的判断很直接:“不懂 infra 的算法工程师不是一个好算法工程师,不懂算法的 infra 工程师也不是一个好 infra 工程师。”

  • 组织变化已经发生:新建大模型团队从第一天起便同时配置算法和 infra 人员;王雁鹏认为团队里的每个人都应既懂算法又懂 infra,并以 thinking machine 等新公司为例,说明这种混合配置已经出现。

  • 他最乐观的是新一代学生天然接触从应用、算法到架构的完整技术栈。“这是一个很美妙的时代”,因为这些领域掌握精髓后并非不可逾越;而能融会贯通的人,将更有机会把算力真正转化为模型和产品成果。

Verification Notes

  • 百度最高奖奖金在参考 transcript 中先被说为“100万美元”,随后又被更正为“100万人民币”,金额存在内部冲突,digest 保留该不确定性。