先锋 趋势 方法 投研 作者
Steeve Morin:为什么 Google 将赢得 AI 军备竞赛,而 OpenAI 不会 | E1262
返回节目精读

Steeve Morin:为什么 Google 将赢得 AI 军备竞赛,而 OpenAI 不会 | E1262

摘要

  • Morin 的核心判断是:H100 是一个迟早会爆的泡沫——算力过剩、行业陷入困境的情形「可能就在今年」。 市场沿用 A100 的金融模型——第0代负责训练,上一代负责推理——但 H100 价格达到 5 倍,推理性能只有约 2 倍,还通过 GPU 本身作抵押、以6至7年摊销期融资。「总得有什么东西让步」——他已经收到从未听说过的服务商发来的冷邮件折扣,并猜测 GPU 可能会以「票面价值的30美分」被买走。
  • 5年后的价值分配将是:「95% 推理,5% 训练」。 Agent 和 reasoning 将算力经济从吞吐量约束转为延迟约束——一张 GPU 可以在100路并发上服务每秒10,000个 token,却无法把每秒10,000个 token 全给一个用户——而且「这正是 Nvidia 可以被攻击的地方」。但如果今天被迫只能买一只股票,他仍然会选 Nvidia,「因为供给在那儿」,希望以后能回来告诉大家尽可能多地买 AMD。
  • Google 是沉睡的巨人。 他认为胜负取决于产品、数据和算力组成的三角形——「谁三者都有?Google……它们可以把能力铺到各处」。肤浅的说法是 OpenAI 威胁搜索业务;现实是「OpenAI 很惊艳,但算力不属于它」——算力属于 Microsoft,而「如果你不拥有自己的算力,你一开始脚上就拴着东西」。
  • 对于所有基于 AI 构建业务的人来说,真正可交易的洞见在于利润分层:TSMC 以60%毛利率出售,Nvidia 达到90%,Amazon 再拿走约30%。 「你只是一个非常大的蛋糕上薄薄的一层脆皮。」他建议创业公司尽可能不要转售算力;每花1美元,约98%都进了别人的利润池,根本无法与每月20美元的订阅价格相匹配。
  • 尽管 AMD 的推理效率约高4倍,切换经济学仍解释了它为何没有追平差距。 「好7倍还不够让人切换——人们宁可什么都不要,也不要一个东西。」解决办法是自上而下:Microsoft 买下 AMD 的供给,并让 ChatGPT 跑在 AMD 上,这让 OpenAI 的推理业务「转为盈利」。ZML 的主张是把迁移成本降到零,这样「如果你比我好30%,我就切换到你」。
  • 在新型芯片方面,Gro 和 Cerebras 证明了 SRAM 能带来单流速度,但这种经济性无法扩展。 Gro 每颗芯片只有230MB,而 BF16 下的70B模型需要140GB——「自己算算就知道」。他认为 Etched,以及很可能还有 VSORA,正在朝着更低价格的方向发展——「如果你能以接近 GPU 的价格交付,那你就赢了」——再往后的前沿则是存内计算,很可能包括 Rain AI 和 Fractile。
  • 至于 Stargate,我不买账——它是一辆「AI 美国车」:体量大、耗油多,但归根结底不是一辆好车。 真正的限制只有「人才和能源」。与此同时,Blackwell 订单正因散热和芯片弯曲问题被取消,而 Jensen 真正的挑战是「如何走过下坡路——高点非常高,但不会永远持续」。

精读

1. H100 泡沫可能爆裂——GPU 可能跌到票面价值的30美分

  • Morin 的核心警告是:这个行业建立在 A100 金融模型之上——第0代负责训练,上一代负责推理——「而且运行得非常漂亮」。随后 H100 以5倍价格上市,推理性能却只有约2倍(上市时推理速度与 A100 相同)。「这里存在一个必须填补的资金缺口……总得有什么东西让步。」
  • 最让他担忧的是:摊销期达到6年、7年,而且 GPU 本身就是抵押品。他设想的情景是:美国某处数据中心有1,000张 GPU,「人们可能会以票面价值的30美分买走」。时间点是:「可能就在今年。」
  • 迹象已经出现:「我开始收到一些从未听说过的服务发来的冷邮件折扣」——大约从10月至11月开始。建设训练集群和建设云服务商是两种不同的生意,有些人手里留下了不知道该如何处理的资本开支。
  • 同样的下坡逻辑也适用于 Jensen:Blackwell 订单正因散热和芯片弯曲问题被取消;H100 的供给在全年被摊平,但一些买家至今还没拿到去年的订单,B200 却已经出现了——「他们非常愤怒」。「高点非常高,但不会永远持续。」

2. Agent 和 reasoning 将算力从吞吐量约束推向延迟约束

  • 他整套判断背后的机制是:聊天场景奖励流式吞吐量,但使用 Agent 和 reasoning 时,「你得等请求结束,才能拿到自己想要的东西」——真正重要的只有从发出请求到答案完成的时间。GPU 可以在100路并发上服务每秒10,000个 token,「但无法只给你一个人每秒10,000个 token」。他的结论是:「这正是我认为 Nvidia 可以被攻击的地方。」
  • Nvidia 当前采用的是纵向堆叠路线——「更多的更多」——这正在逼近物理极限。Blackwell 把两颗芯片拼在一起,形成了大到会「开始弯曲」的表面,导致芯片与散热器失去接触;功耗上限达到1,000瓦,还需要液冷。
  • 下一步是潜空间推理——不把思考翻译成 token,就像「你在心里思考时,不会把自己的想法大声说出来」。再加上可能属于 Yann LeCun 路线的能量模型,这些任务「从根本上说 GPU 无法大规模交付」,因为外部存储访问才是墙:HBM 已经是我们拥有的最好方案,但与 SRAM 相比仍然非常慢。

3. GPU 从来不是 AI 芯片——Nvidia 赢在训练,靠的是 Mellanox

  • 他希望人们记住的历史是:GPGPU 大约20年前只是一个「很酷的技巧」——让图形渲染器去做并行数学运算。「GPU 是用于 AI 的好技巧,但它们不是为 AI 打造的。」TPU 才是最早的专用架构;对 LLM 来说,GPU 这套技巧在内存传输压力下「开始出现裂缝」。
  • 他的修正性观点是:Nvidia 赢得训练市场,「靠的是 Mellanox,而不是计算能力」——矩阵乘法过程中,一个矩阵会被读取「数百次」,所以 InfiniBand 互联才是训练的「核心」。而推理「没那么重要。你不在乎」。模型大小之所以被这样设计,实际上就是为了让人们无需连接多台机器也能完成服务。
  • 锁定效应为何仍在持续:PyTorch–CUDA 组合「非常、非常难以打破」,而一个自我强化的循环——人们买 Nvidia 再转售,因为所有人都在运行 Nvidia——让市场持续被效率最低的选项占据;在他看来,这甚至不是最好的软件平台。

4. 「你只是一个非常大的蛋糕上薄薄的一层脆皮」

  • 他拆开利润链条后的秘密是:TSMC 的毛利率为60%,Nvidia 达到90%,然后 Amazon 再拿走约30%。因此,他对 AI 创业公司的长期建议是:「能不转售算力,就不要转售」——每花1美元,「可能有98%流向了别人的利润」,这很难被压进每月20美元的订阅里。
  • 至于 CUDA 的护城河:「他们花了大量精力让你在意一些本不该在意的东西……谁在乎 CUDA?」一旦软件把各种底层差异抽象掉,「服务商就会围绕规格竞争,而不是围绕伪护城河竞争」——不过他也承认其中的政治现实:「如果你惹恼了 Jensen,可能就得去吻戒指,才能重新排队。」

5. 训练是研究,推理是生产——推理将占95%

  • 两者服从「根本不同的构造性力量」:训练需要一切都更多,以及更快迭代——「就像给一辆正在行驶的汽车换轮子」;推理需要更少:少一些麻烦,能不做互联就不做。他的比喻是:画一幅画和画一百万幅画不同,前者看重落笔速度,后者看重可靠流程。
  • 贯穿本期的数字是:5年后,「95% 推理,5% 训练」。
  • 今天的推理「充满了胶带」,但它并不只是运行训练代码的前向传播。最大的未兑现机会是自动扩缩容:即使生产环境根本没人使用,用户仍然每天为1,000张 GPU 付费,「这太疯狂了」;按需配置的价值可以达到「5倍,有时10倍」。由于按需算力价格宰人,用户过度采购预留算力,进一步制造了叠加在真实稀缺之上的「虚假稀缺」。

6. 好7倍还不够——迁移成本必须降到零

  • 每一家芯片厂商——AMD、Google、Tenstorrent——都面临同一个 GTM 问题:切换意味着放弃一份6年期 Nvidia 摊销计划,还要维护两套技术栈。他得出的经验指标是:「无论你选择什么指标,好7倍都不够让人切换。人们宁可什么都不要,也不要一个东西。我有实际案例。」TPU 就是证明:「它们有货,也很好,但没人关心」——因为迁移成本是6个月的工程投入。
  • 反例是自上而下的打法:Microsoft 买下 AMD 的供给,并让 ChatGPT 跑在 AMD 上,这「让 OpenAI 的推理业务转为盈利」。计算方式是:8张 H100 只能容纳2个70B模型,而 GPU 数量翻倍,推理吞吐量只增加约10%——「这是没人谈的秘密」;AMD 的内存可以让每张 GPU 放下一个模型,芯片效率约高4倍,价格还低30%。「这根本不需要思考」——但前提是从产品出发、向下渗透;如果从底部把它们租出去,「人们不会租,事实就是如此」。
  • ZML 的主张是通用解法:把迁移成本降到零——「你只要说,嘿,现在它是 AMD——砰,它就能运行。」这样一来,「如果你比我好30%,我就切换到你」,增量优势终于可以转化为销售。
  • 如果被迫选一只股票,他说:「我仍然会选 Nvidia……因为供给。」但如果牌打得好,希望有一天能回来告诉大家「尽可能多地买 AMD」——或者,如果 Tenstorrent 上市,也可以买 Tenstorrent。

7. SRAM 经济学:Gro 和 Cerebras 惊艳,但负担不起

  • 单流速度没有魔法,靠的就是 SRAM,也就是芯片上的内存。但 SRAM 会吞噬芯片面积、降低良率:Gro 每颗芯片只有230MB,而 BF16 下的70B模型需要140GB——「自己算算就知道」。Cerebras 的晶圆级引擎容纳44GB,用水冷却,并用铜针接触芯片:「简直疯狂……不过技术确实非常令人印象深刻,只是贵得离谱。」他怀疑 Mistral 和 Perplexity 的速度展示「是在亏本做」。
  • 他认为正在朝着打破价格门槛方向发展的公司包括 Etched,以及很可能还有 VSORA——「如果你能以接近 GPU 的价格交付,那你就赢了」。
  • 对 Nvidia 在 HBM 上的地位,他用了「Nutella 情形」来比喻:Nutella 拥有80%的榛子市场——「是的,你可以做一个竞争者,但你要从谁那里买榛子?」需要注意的是,纯 SRAM「在扩展性上是一条死路」;未来需要 HBM,同时也需要在更专用的架构中增加 SRAM。
  • 再往后的前沿是存内计算:让处理器靠近数据,而不是来回搬运数据。他点名了两家公司:Rain AI,很可能 Sam Altman 是投资人之一,「并不意外」;以及英国的 Fractile。「可能不是今年,但它会到来。」

8. 产品、数据、算力——「这就是沉睡的巨人」

  • 他判断 AI 胜负的模型是产品、数据和算力组成的三角形。「谁三者都有?Google……Android、Google Docs,等等——它们什么都有,可以把能力铺到各处。这是我心中的沉睡巨人。」当然,他也干巴巴地补充了一句:「前提是它们没有忙着重组。」
  • 他反对的肤浅说法是:OpenAI 会摧毁搜索这只下金蛋的鹅。「OpenAI 很惊艳,但算力不属于它」——算力属于 Microsoft,而 Microsoft 是以「离谱的利润率」买来的。「如果你不拥有自己的算力,你一开始脚上就拴着东西。」那些购买数万张 GPU 的数据中心建设者告诉他,他们得到的唯一让步就是供给,没有折扣。
  • 至于谁真正威胁 OpenAI:「我不确定目前谁是 OpenAI 的威胁。」他的母亲知道 ChatGPT;但如果问她 Gemini,「那是什么?」最终,借用 Fluidstack 的 Gary 的比喻,模型提供商会变成「汽车制造商」——不会赢家通吃,「每个人都会有自己的品牌」。

9. 暴力堆算力遭遇反击:DeepSeek,以及「一辆 AI 美国车」Stargate

  • 今天的扩展路线是「暴力堆算力……一种非常美国式的路线——越来越多、越来越多、越来越多」,但物理规律正在反击:xAI 的集群不是100,000张 GPU,而是「4个25,000张」,因为互联成了约束——「某个时刻你会开始与物理规律搏斗」,就像逼近光速。他认可的两种反击路径分别来自 DeepSeek——「存在大量浪费……因为效率更高,实际上等于增加了算力容量」——以及可能属于 Yann LeCun 的路线:「这不是扩展,我们需要正视问题本身。」
  • 至于 DeepSeek 本身:「约束是创新之母……如果你可以买更多,为什么要在乎?」中国在 ASIC 方面「有点晚」,大约还处在 A100 水平,但它正在水中练习:「它们注定会做得更好……用短期思维看待这件事是不对的。」同样的视角也影响了他为 Mistral 辩护:「散播 FUD 很容易……我知道的是,我希望它们不要有太多钱。」
  • 主持人提到 Meta 的超大规模资本开支为600亿–650亿美元,Microsoft 为800亿美元;Morin 认为,这些支出追逐的是训练,而 Nvidia 的采购具有「增量性」——1,000张 Nvidia GPU 加上1,000张 Nvidia GPU,得到2,000张;但1,000张 Nvidia 加上1,000张 AMD,得到的是「两倍的一千」。
  • 对 Stargate 的5,000亿美元,他的第一反应是:「我不买账……美国式做法——先提出一个主张,再想办法实现。」即便它是真的,也只是纵向扩展:「一辆 AI 美国车——体量大、耗油多,但归根结底不是一辆好车。」限制因素只有「人才和能源」;而在90%毛利率的背景下,「如果我们对这个利润率动手,就能把那个数字压下来」。

10. 模型正在消失——后端、世界模型与更好的数据

  • 他对模型走向的开场判断是:闭源「模型」已经是后端的「星座」——当你要求生成一张图时,系统会在后台把请求路由给扩散模型。「模型」如果被理解为拿到权重并运行它们的东西,最终会消失,取而代之的是完整后端。
  • 他对与可能属于 Yann LeCun 的世界模型路线、可能是 JEPA 的方案「非常看好」:「他向我解释它是怎么工作的,我当时完全被震撼了。」语言只是「通往世界的一扇非常窄的窗口……我们对世界的描述,严格来说有一定损失」;能量最小化式的思考更接近人类拿起 AirPods 盒子的方式:不会把整个动作过程讲出来。与此同时,非 Transformer 架构「可能会彻底淘汰 Transformer」,扩散式 LLM 则像人类一样以「分块」方式思考。
  • 对合成数据,他依然保持原有的分寸:把模型输出重新注入训练数据「感觉不对……会发生退化」;但 AlphaGo 的跃迁来自合成棋局,而代码就是一个例子,因为「你只要运行代码」,就能获得真实答案——这也是 Poolside 的主张。蒸馏则「完全合理」:一个模型被提示生成一帧 Star Wars 画面,结果产出了真实截图,所以「你从一开始就把它拿走了……我拿起我的杯子,每天都非常享受那部电影」。最令人震惊的是,蒸馏后的小模型有时会击败教师模型——在你测量的那项任务上表现得更好。
  • 发展方向是更小的模型:「很多时候,运行大模型其实是在浪费」,而 DeepMind 的人「甚至已经不再微调」——他们在运行时把数据直接倒进巨大的上下文窗口。Morin 说 ZML 正在研究作为 RAG 前沿的「注意力级搜索」;Harry 称这是独家消息。它延伸了 RAG 的那个「聪明技巧」:把语义上接近的片段预先拼接到上下文中。