先锋 趋势 方法 投研 作者
面向金融的 Claude Code + 全球内存短缺:Doug O’Laughlin,SemiAnalysis
返回节目精读

面向金融的 Claude Code + 全球内存短缺:Doug O’Laughlin,SemiAnalysis

摘要

  • Doug O’Laughlin 的核心判断是,Claude Code 在 Opus 4.5 左右从新奇玩具跨越成了具备经济价值的信息工作者。 它能把原本看似需要“博士项目”的工作压缩到1—2天,但“这东西一直在犯错”;如今它更像初级分析师,而不是自主专家。Shawn 把这款付费工具比作一个完全听话的初级分析师。眼下最直接的收益属于有经验的审阅者,他们能识别出“手工打磨的最后5%”;初级数据分析岗位则越来越暴露在风险之下。

  • Claude Code 的采用曲线表明,编码代理正成为所有信息工作的接口,而不只是编程工具。 Doug 描述称,Claude 署名的提交在“2周左右”已占公开 GitHub 活动约4%;Shawn 说更新后的图表约为5%。Doug 刻意保守地预测年底达到25%,而 Shawn 认为当前速度更接近50%,25%只能算95%置信区间内的下限。更大的判断是:“Excel 是分析师的 IDE”;一旦代理能够检索可信数据并直接呈现答案,Excel、Bloomberg、PowerPoint 以及其他面向人的界面都会受到冲击。

  • 最明确的硬件判断是,Doug 认为内存短缺大约还要2年才能缓解。 考虑到工艺复杂度和良率,生产1 bit 的 HBM 实际上会消耗3—4 bit 的传统 DRAM 产能;与此同时,供应商刚刚走出一次严重衰退,期间无尘室投资被冻结。SemiAnalysis 认为 DRAM 价格还有再涨100%的空间,这将迫使需求遭到破坏,推迟数据中心和设备建设,通过 CXL 重新启用老 DDR4,并让“上下文配给”成为一种可能真实存在的产品逻辑。

  • Google 的 TPU V7 拥有暂时性的成本窗口,但 Nvidia 对内存和更广泛供应链的控制,可能会随着 Rubin 到来而关闭这一窗口。 Doug 认为,如果供应不受约束,几乎所有主要实验室都会消耗更多 TPU V7;双方讨论给出的潜在 TPU 业务规模接近1万亿美元,对应约30%份额。但 TPU V8 相对 Rubin 的 HBM3 对 HBM4、Nvidia 激进的供应商管理,以及 Google 有限的可用产能,意味着这是一场存量基础竞争,而不是一次干净利落的架构胜负。

  • Microsoft “最可能失去最多”,因为 AI 正在攻击人类进行信息工作的横向软件,而 Azure 却在为攻击者提供融资。 Doug 把 OpenAI 比作“城门外的蛮族”:Microsoft 可以继续做一家高利润的算力供应商,同时任由 Office 的抽象层被颠覆;也可以把投资转向保卫 Office 和打造内部模型。Doug 认为,Oracle 试图承接被挤出的建设需求,其底层投资未必是坏生意,但规模巨大且节奏失控的债务发行冲击了市场流动性,把融资节奏变成了瓶颈。

  • AI 基建热潮已经更像铁路,而不是互联网,这意味着未来可能经历多轮繁荣与破灭,而非一个干净利落的周期。 Shawn 提到,铁路投资一度约占 GDP 的4.8%、固定资本形成总额的25%;他同时把 Stargate 与美国 GDP 约2%的规模相比较。Doug 不会断言需求会永远上升,但 Claude Code 改变了他对需求弹性的判断:他愿意每年支付2万—3万美元甚至更多,因为它表现得像许多名并行工作的初级分析师。

  • Doug 的半导体框架仍然是核心锚点:摩尔定律放缓,而 scaling law 驱动的需求加速,把价值转移给仍能交付系统级性能的公司。 他在2020年得出的 Nvidia 是主要受益者的结论,方向上被证明是正确的,尽管连他自己也没预料到它会成为“全球最有价值的公司”。真正持久的投资经验,不是精确维护 EPS 预测,而是找出能够推动数十亿美元收入的1—3个技术变量,再用代理去研究它们,同时不把判断力外包出去。

精读

1. ASML 让一名注重质量的投资者变成半导体迷

  • Doug 纠正了那个过于简化的起源故事:不是某位导师把他“nerd-sniped”进半导体行业的。2018年,他在寻找高质量复利股时发现 ASML,“爱上了它”,随后沿着产业链向下研究教材、制造设备,以及那些能够生产每一层结构的公司。

  • 真正留住他的是,半导体制造看起来“全是科幻”。即使在智能对话机器人出现之前,每一代新芯片的制造都需要看似不可能的技术,但投资者却把这些进步视为一个所谓成熟行业的日常特征。

  • 这种着迷最终变成了职业选择。Doug 曾多次提前捕捉趋势,包括2019年开始沉迷 TikTok,但 ASML 让他看到了“一轮非常大的浪潮”,并形成了足够强的信念,足以重组生活、全情投入。

2. 摩尔定律放缓颠覆了成熟硬件的投资范式

  • Doug 真正被“激进化”的信念是,摩尔定律正在终结。行业入门材料仍把半导体描述为集中度高、成熟且增速缓慢的行业,而主流投资范式则假定 CPU 会一代代自然改善,硬件的价值仍会低于软件。

  • 他的因果链条很简单:scaling law 会把算力需求大幅推高,而晶体管缩放放缓,将移除过去自动带来、并不断降低性能成本的供给侧增益。当“所有这些免费的增益”消失后,芯片、网络、封装和完整系统设计方面的专业能力就获得了定价权。

  • Nvidia 是最清晰的例子,因为它掌握了“从芯片到网络、设计再到扩展规模的每一个环节”。并行计算很重要,但当性能不再能自动来自下一代 CPU 制程节点时,系统级能力更为关键。

3. Nvidia 投资论断的兑现超出了 Doug 自己的信念

  • 2020年,在一篇关于 GPT-3 和“曙光已现”的文章中,Doug 认为 scaling law 驱动的需求加上摩尔定律失效,将利好半导体,而 Nvidia “基本上是唯一一家”有能力捕获上行空间的公司。这仍然是他最喜欢的长期判断。

  • 重要的是他的不确定性:他深信这一论点,却没有预见到其规模。即使有人当时告诉他 Nvidia 会成为“全球最有价值的公司”,他仍会觉得难以置信,尽管前提都是他自己写下的。

  • Doug 认识 Dylan Patel,是因为 Dylan 看起来像“全世界唯一一个和我一样痴迷半导体的人”。两人的视角互补——Dylan 以技术为先,Doug 受过更多金融训练——支撑了他们早期的判断,也促成了他们在 SemiAnalysis 的合作。

4. SemiAnalysis 专注于足以撬动数十亿美元的拐点

  • Doug 对卖方研究的批评是结构性的。这个行业源自银行需要名义上独立的分析师帮助分销证券,后来演变成围绕买入、持有、卖出评级以及分毫级 EPS 预测的“机械维护”,而不是差异化的技术研究。

  • “没有人会说,‘我的预测总是比所有人精准1美分,这就是我擅长选股的原因。’”准确率高5%很少能决定一笔投资;判断一个产品拐点是否真的发生,却可能让收入上下波动数十亿美元。

  • 他举的例子是 AMD 的 Helios 机架:它是否真的按时交付、能否在发布时准备好生产 token,远比季度表格精度的又一次迭代重要。同样,某个网络瓶颈的出现时间,也可能决定整个部署节奏。

  • 因此,分析师与投资组合经理的对话最终会归结为找出“真正重要的1件、或者说3件事”。难点在于,既要跨越多个供应链环节的博士级深度,又要保留足够的宽度,理解某个不起眼的组件或光学技术如何改变其上层经济性。

5. Opus 4.5 跨过了 Doug 的一次完成门槛

  • Doug 长期把 SemiAnalysis 的招聘案例当作非正式基准:一个代理何时能完成一项人类大约需要24小时的多步骤金融分析任务,何时能击败最弱的应聘者。早期系统展现出潜力,但还没有稳定达到要求。

  • Opus 4 能搭建副项目,但需要大量反馈,而且经常出错。Doug 早先也试过 Codex,却没得到他想要的无缝代理体验;真正的质变出现在12月下旬——大约12月20日—27日之间,Doug 说是在圣诞节返程后——Claude Code 搭配 Opus 4.5 开始能够一次完成完整任务和小型项目。

  • 关键变化并不是输出完美。它可以处理仪表盘、电子表格或类似项目,接受改进要求,并持续迭代,而不需要 Doug 每一轮都重新拼装整个项目。

  • 这段经历催生了他现在的口头禅:“你就是可以直接做事。”当通用项目可以从自然语言意图出发完成时,每个尚未实现的功能至少部分都成了“能力问题”——取决于如何设定目标、提供上下文、进行审阅和使用工具。

6. 投资组合分析变成了可扩展的判断系统

  • Doug 从一个很普通的请求开始:导入自己的持仓和笔记,整理内容,计算基本的投资组合风险,并持续维护结果。成功之后,他让 Claude Code 编码自己的投资风格、搭建框架、给持仓打分,并攻击底层假设。

  • 价值来自迭代式扩展。最初的复制粘贴笔记,变成了对其思考方式的可复用表达,能够接收新数据、应用评分标准、比较持仓,并在无需传统开发项目的情况下生成仪表盘。

  • 评分标准有助于管理随机性:明确重要维度,每项按10分制打分,并让代理暴露工作薄弱之处。Doug 描述称,他既会让代理按评分标准执行任务,也会在单独一轮中进行评估;讨论表明,新的评估上下文可能减少偏见和迎合。

  • Opus 4.6 倾向于赞同,使这种隔离更有价值。当创作和评分共享同一上下文时,先前的推理可能污染批评;干净的上下文可以减少迎合,也能防止模型为已经做出的决定寻找合理化解释。

7. Claude 署名的提交揭示了指数式采用曲线

  • 为了寻找超越线上“集体癔症”的证据,Doug 注意到 Claude Code 可以为公开提交签名。他让代理系统性地抓取这些签名、查询可用的 GitHub 数据、计算每日总量,并将其表示为整体活动的百分比。

  • Doug 描述称,结果在“2周左右”达到约4%。Shawn 说更新后的图表约为5%。Doug 表示,自己从未见过如此明显的指数趋势。

  • 图表本身也是代理生成的——Doug 提到 Opus 4.5 或4.6——而不是手工制作。他还让代理阅读约70本可视化书籍,将其中有用的经验压缩成一个很小的风格技能,并套用 SemiAnalysis 的颜色、格式和水印。

  • 他的重点是经济性,而不是美观:“做这件事的成本为零。”如果综合70本书与综合3本书的成本基本相同,代理就可以吸收更大的参考集,只保留重要规则,并基于新数据反复生成图表。

8. 代码正在成为所有信息工作的底层语言

  • Shawn 观察到,Anthropic 的生产流量中软件工程仍接近50%,但他追问,数据分析等表面上独立的类别,是否也正在变成软件工程。Doug 的回答基本是肯定的:目前,代码是机器与外部世界进行交互的接口。

  • 金融行业早已在使用抽象层。Excel 模型编码了各种关系,并表达某项资产可能值多少钱;Doug 说,编程可能更难,所以“你是说难的已经自动化了,那为什么简单的不能自动化?”

  • 这也是 Doug 觉得 Claude for Excel 不如 Claude Code 使用 Python、再在必要时把结果写回 Excel 的原因。把代理塞进传统工作簿,就像把“汽车发动机”硬装进“马车”;面向机器的表达应当成为主表达层,人类格式只在边缘生成。

9. 上下文卫生胜过复杂的代理编排

  • Doug 当前的设置强调少量强技能、API 访问,以及通过受控服务暴露的 SemiAnalysis 内部数据。每次会话开始时,他会指定一个应在单个上下文窗口内完成的具体目标,然后让专注的子代理收集有边界的信息。

  • 新的100万 token 上下文是一次巨大改善,因为项目指令占窗口的比例更小,子代理也可以在自己的上下文中工作。相比之下,反复压缩会开启“对噪声的压缩”,并持续损害保真度。

  • 他承认自己对 hooks 的使用不足。早先对 Ralph 循环和 Gas Town 式编排的热情,后来让位于“少即是多”:当前模型的保真度还不足以支撑奢侈的多阶段自动化,而紧凑的技能和明确的上下文更可靠地把任务推到完成。

  • 上下文腐化仍然明显。代理可能变得语无伦次、偷懒,或者忘记 CLAUDE.md 中已经记录的 API;Doug 借用了《Of Mice and Men》的梗:一个精疲力竭的会话最终必须被“放倒”。

10. Kimi K2.5 的 swarm 在 Claude 的代理团队失效之处奏效

  • Shawn 的争议性判断是,Claude 的实验性代理团队功能尚未接受协调所需的强化学习。把一个大型、跨公司的 KPI 仪表盘拆给团队后,表现“明显变差”,因为基于提示词的分工缺乏情境意识。

  • 子代理表现更好,因为每个代理都会收到更干净、边界明确的任务,并返回结果。Doug 说 Kimi K2.5 的 swarm 确实很好;Shawn 表示,在他的实验中,swarm 显著改善了模型表现,并将其与 Claude 较弱的代理团队作对比。Doug 提到 Anthropic 曾在一篇文章中谈到强化学习和游戏,因此具体训练解释仍有争议。

  • 这让 Doug 可以将一组问题运行20次,衡量不同模型的表现,再比较其中的定性差异——这是3个月前“普通人”还无法完成的内部基准测试。Shawn 说,运行 swarm 需要约16个 H100 节点,凸显出 swarm 同样是一个横向扩展算力的故事。

11. OpenClaw 的能力先于其安全模型到来

  • Shawn 第一次使用 OpenClaw 时感到“非常兴奋”:它可以读取邮件、查看日历,并在个人信息之间执行操作。随后他意识到这套系统极易受到 prompt injection,于是撤回了暴露敏感账户的计划,认为现阶段专注使用 Claude Code 已经足够。

  • Shawn 通过使用独立邮箱来降低风险,只有在代理证明有用之后才会进一步授权。他说 Clawdbot 没有给他留下深刻印象;那些对 Moltbook 做出反应的人忽略了一个事实:终端代理仍经常无视明确工具,或丢失任务焦点。

  • Doug 仍然区分完成任务与制造新奇感。Zapier 也能更安全地实现部分相同工作流,但通常需要数小时僵化的点击;一个代理只用4分半钟就达到同样结果,代表的是另一种机制。Shawn 的总结很有记忆点:“你的先验会变成你的牢笼。”

12. 一个失败的内存价格模型,仍把博士项目压缩到了几天

  • Doug 让代理收集历史 NAND 和 DRAM 价格,选择并微调 Chronos-2,加入协变量,识别租用的 GPU,评估结果,最终还通过内部 Vercel 仪表盘暴露这项工作。

  • 预测论点失败的原因具有典型金融特征:内存市场会经历规则可能反转的不同制度,而把每个周期视为独立样本又会摧毁样本量。Shawn 正是基于这一点反对 LLM 股票游戏——过去的关系只能成立到“某个基本面发生变化”为止。

  • Shawn 把这套失败的预测方法概括为最终只剩启发式规则——“祝你好运,玩得开心”——而 Doug 的结论是,时间序列模型可能根本不会奏效。但这个项目仍然留下了他能找到的所有历史序列、付费 API 数据、宏观协变量,以及描述每个周期开始、中段和结束的框架。

  • 此前,他曾通过旧年报、GDP 数据和叙事重构,手工整理1980年代、1990年代、2000年代和2010年代的历史。过去看似需要“一辈子”或一个博士项目的工作,如今用1—2天就能完成,尽管最后仍然需要专家判断。

13. 专家能看到垃圾,因此能捕获上行空间

  • Shawn 的反驳关乎声誉:SemiAnalysis 不能把流畅但错误的工作发布给付费客户,而一个没有亲自收集证据的分析师,可能缺乏挑战这些内容所需的知识。Doug 没有淡化这个问题,而是表示:“这东西一直在犯错。一直都在。”

  • 他使用的比喻是,一个初级分析师为高级决策者收集痛苦的信息。缺失的,是初级分析师在反复处理案例后逐渐内化经验、发现自己在哪些地方命中率可靠,并将其提升为真正专业能力的历史过程。

  • Doug 希望未来系统能够获得这种学习能力——“全世界花费1千万亿的人都认为它会”——但他不认为今天已经具备。在 SemiAnalysis,代理能够大幅放大现有专家的能力,因为专家脑中已经积累了模式、例外和隐含的修正机制。

  • 人类的贡献是“手工打磨的最后5%”:发现虚构的假设,知道某个前提何时与分析师自己的估值框架冲突,并修正前提,而不是把输出润色得更漂亮。这使代理使用成为“一场卫生游戏”,而不是接受任何看起来完整的东西。

14. 自动化威胁的不只是初级岗位,还有学徒制

  • Doug 担心,跳过证据收集的初级员工,可能永远无法建立审阅所需的内部模型。检查答案有没有明显错误,不等于亲自与原始问题搏斗,直到其中的例外和层级关系变得直觉化。

  • 因此,相比已经成型的研究员,SemiAnalysis 可能会对新员工使用 AI 更加谨慎。“你仍然必须做其中一部分”;否则得到的只是没有认知过程的输出,而其粗糙之处对于已经付过学费的人显而易见。

  • Shawn 把自动化重新表述为增加掌舵次数:人类可能只尝试一次分析,而代理可以并行生成多个版本,把人的注意力转向审阅。Doug 接受这种杠杆效应,但又回到同一个风险——如果审阅者从未亲自做过这项工作,就可能不知道该关注什么。

  • 他们讨论了始终在线的 heartbeat 设计:它可以审阅会话、提取经验,并把经验带入下一项任务。一个能够检索每次历史互动的专业客服代理,或许拥有比任何人类都更多的案例上下文,前提是验证机制能阻止累积错误永久写入记忆。

15. 经济意义上的 AGI 先于“机器之神”到来

  • Doug 在一个实用定义下变得“AGI 上头”:系统能否自动化、改造或消除一批有意义的信息工作。Opus 4.5 开始完成更长项目后,他的答案变成了“是,100%”,尽管他拒绝把当前代理描述成完美或超级智能。

  • 初级数据分析是他最清晰的案例。给定一个设计良好的代理系统,持续扫描季度数据并寻找有趣变化,他无法想象平均22岁的人能稳定地“把它打得落花流水”。

  • Shawn 提到 GDPval,其中50%代表模型与行业专家打平。他说,包括 GPT-5.2 和 Opus 4.5 在内的新系统已经进入70多分区间;他的解读是,在抽样的专业任务中,模型超过专家的次数已经更多。

  • 双方的分歧主要在词汇。Shawn 称这符合 AGI 定义;Doug 同意它适用于白领工作,但将其与 ASI 和“机器之神”区分开来。把目标推向超级智能,会掩盖大量普通经济工作已经跨过有意义门槛这一事实。

16. AI 可能提高产出,却让 GDP 更难解读

  • Doug 描述了一条演进路径:经济体从农业进入制造业,再进入白领工作和成熟金融部门。人类会创造新工作并适应变化,但即使最终出现新的经济层,5—10年的转型仍可能在社会层面突然发生。

  • 他的“异想天开理论”明确带有保留:AI 可能具有极强的通缩效应。信息工作的数量可以扩张,但在供给充裕的情况下,其市场价值会崩塌,使 GDP 中隐含的服务小时逻辑不再能代表实际生产性产出。

  • 这可能在调整阶段形成一场“AI 大萧条”——不是因为完成的工作更少,而是因为社会尚未为大量廉价认知定价,也尚未吸收它。Doug 强调不确定性;他观察到的近期反应只是,人们会用生产率增益来更加努力地工作。

17. 铁路意味着多轮 AI 资本开支周期,而不是一轮

  • Doug 更喜欢用铁路建设类比互联网。他说,互联网以实际美元计算的建设规模约为1万亿美元,而 AI 的绝对规模已经超过互联网;铁路则是一个长达约45年的基础设施周期,其中包含3次繁荣与破灭。

  • 铁路做的不只是运输农业产出:其融资需求帮助现代银行业成形,铁路债务一度占据票据市场主导地位。这类基础设施规模巨大、部署缓慢,周围不得不形成新的资本机构。

  • Shawn 提到,铁路资本开支接近 GDP 的4.8%和固定资本形成总额的25%;他把 Stargate 与美国 GDP 约2%的规模相比。Doug 预计 AI 最终会超过铁路,但更快的信息流动会压缩周期。

  • 他的基准情景不是一条不间断的上升线。供需曲线最终会交叉,每一轮资本繁荣都会经历“必须建设,价格无所谓”的阶段,直到投资者发现,“那是一个高得离谱的价格”。

18. Claude Code 终于让 Doug 看清 token 需求

  • Claude Code 改变了 Doug 对需求曲线的信心,因为他自己变成了重度用户。标准 Max 套餐“远远不够”;他说自己使用 Fast,并在 API 上花了“100万美元”,但逐字稿没有说明单位。

  • 当被问到这款工具每年值多少钱时,他估计“轻松2万—3万美元,如果不是更多”。相关比较对象是一名约9万美元、完全听话、并且可以被并行实例化多次的初级分析师。

  • 这种支付意愿并不能证明需求无限,也不能证明“数字会永远上涨”这种不诚实的论断。但它确实表明,一项新能力一旦能够稳定完成有价值的专业工作,其需求弹性可能远高于消费者订阅价格所显示的水平。

19. 分析师的 IDE 正走向程序员 IDE 的命运

  • 听到传统编码 IDE 已死的说法后,Doug 认为同样的逻辑适用于金融。“Excel 是分析师的 IDE。Bloomberg 是分析师的 IDE。”二者都保留着围绕人类操作员能够手动导航而建立的界面。

  • Shawn 斩钉截铁地说:“我再也不会在 Excel 里做图了。”Doug 认同更广泛的结论:代理可以查询可信来源、分析关系,并比人类操作单元格更快地返回 Matplotlib 图片或定制仪表盘,即便输出与旧模板略有不一致。

  • Shawn 早期创业时曾试图挑战 Bloomberg,并由此认识到 Bloomberg 的护城河更多来自消息、新闻和数据源,而不是界面。Shawn 说 SemiAnalysis 正在转向 FactSet API 加 Claude Code,同时承认交易员和受监管的交易工作仍依赖基本分析师工作流之外的信息网络。

  • Shawn 估计,对部分分析师而言,降低终端规格每年可节省1万—2万美元。更重要的是,这一工作流用直接表达意图,取代了对文件夹、密钥和函数的隐性记忆。

20. Claude 主导通用工作,而 GPT-5.3-Codex 已经“编程上头”

  • Doug 对 Claude 署名 GitHub 份额的年底预测是25%,而且他说自己刻意压低了预测。Shawn 认为25%落在95%置信区间内,但当前轨迹更接近50%;双方都承认,公开署名追踪会漏掉一部分活动。

  • GPT-5.3-Codex 出现后,Doug 修正了此前关于 Anthropic 优势主要来自 token 效率的看法:“他们回来了。”它的强化学习栈看起来非常适合编程,而 Doug 预计,未来更强的预训练运行搭配这套栈,可能会扭转竞争格局。

  • 局限在于专业化。Doug 只是希望 GPT-5.3-Codex 导入并理解网页,它却反复尝试搭建抓取软件;Opus 4.6 更自然地在研究、评分标准、分析和编码之间切换,因为它没有那么“编程上头”。

  • Shawn 提到 Conductor 这类多模型界面,让 Claude 和 Codex 互相审阅。Doug 没有亲自使用过 Conductor,但同意跨模型审阅可能有用,同时不信任夹在快速迭代、资金充足的第一方平台之间的中间件:看似干净的超集,往往会被其中一方“吃掉”。

21. Microsoft 正在把算力租给城门外的蛮族

  • Doug 否认 Microsoft “退出 AI”这种吸睛说法,但坚持认为它“最可能失去最多”。Office、PowerPoint、Excel 和邮件都是人类进行信息工作的横向接口,而这正是代理威胁的抽象层。

  • Azure 让防御变得复杂,因为 Microsoft 正在通过向 OpenAI 出租基础设施赚钱,而 OpenAI 可能成为颠覆者。Doug 的类比是罗马雇佣蛮族:每一年,雇佣兵都变得更强,而它们最终可能攀上的城墙却更加破败。

  • 战略分叉非常痛苦。Microsoft 可以突出 Azure,承担沦为高溢价“哑管道”的风险;也可以把资本转向自研模型和 Office 防御,同时牺牲部分云业务增长。

  • Claude for Excel 和 Claude for PowerPoint 让指控更加尖锐,因为“Microsoft 本来就应该造出来”。Doug 把管理层关于内部能力投资的表态解读为正在把资源拉回城墙,但在执行表现参差不齐之后仍持怀疑态度,并表示 Microsoft 必须选择方向。

22. Oracle 的融资节奏把资本供给变成瓶颈

  • Shawn 问 Oracle 承接 Microsoft 放弃的产能是否不负责任。Doug 的回答是,这套安排主要是一次自摆乌龙:Oracle 承诺了巨大规模——他记得 RPO 约为4000亿美元——却在建立更平滑、部分由已部署 GPU 收入自我融资的爬坡路径之前就激进融资。

  • Shawn 做了一个粗略且明确不精确的比较:投资级 TMT 债务规模接近5000亿美元,而 Oracle 约为1350亿美元。如此大规模的发行必须提供更好的条款来吸引买家,重新给竞争性债务定价,并通过单纯的供给压力导致整个指数下跌。

  • 因此,意外的瓶颈是“进入市场的债务供给”。超大规模云服务商过去一直能够自我融资;突然要求信贷市场提供数量级更多的资本,即使底层项目最终可能赚钱,也会制造流动性问题。

  • Microsoft 本可以内部为同样的产能融资,或者以接近美国政府的利率借款,从而比 Oracle 获得约2个百分点的资本优势。Doug 称放弃这一优势是失误,而 Oracle 的突然发行又助推了 CDS 焦虑,迫使资本主义“踩刹车”。

23. TPU V7 只有一个狭窄窗口来把 TCO 转化为存量基础

  • Doug 把 Google 愿意向外部销售当前一代 TPU 解读为一次争夺市场份额的决定。在 Gemini 3 之前,如果 Google 自有产品表现不佳,囤积硬件的意义并不大;如今 Ironwood TPU V7 在 Nvidia Rubin 到来前,提供了预期中最宽的 TCO 优势。

  • 双方讨论给出的 TPU 业务规模接近1万亿美元,对应约30%份额。关键在于建立存量基础:拥有当前 TPU 的客户有升级动力,而 AMD 必须反复争取那些此前没有 AMD 加速器、并非在替换旧设备的用户。

  • TPU 的硬件、网络和软件已经足够成熟,Anthropic 又是能力非凡的外部客户。Doug 认为,如果供应不受约束,Anthropic、OpenAI 和其他实验室都会消耗更多 TPU V7,因为它当前的性价比是“街区里最热门的孩子”。

  • 供给限制让理论需求无法转化为份额。TSMC 可能是最大的瓶颈,而最初 TPU 项目的一些工程师已经分散到行业各处;这个窗口可能只有1—2年。

24. Nvidia 的供应链控制可能关闭 Google 的硬件差距

  • SemiAnalysis 预计,TPU V8 相对 Rubin 的表现会不那么有利,尤其是 HBM3 对 HBM4,以及 Nvidia 更强的内存扩展能力。更大、更快的内存直接支持更长的上下文和更强的系统。

  • Doug 认为,如果 GB200 能按时、稳定交付,它会“彻底碾压” TPU V7。它的延期和可靠性问题制造了当前窗口,但 Nvidia 有多种方式修正路线。

  • Nvidia 像一支 F1 车队,把每个组件都推到极限;Google 则按照自身基础设施文化,设计稳定、可复制的 pod。Nvidia 出现失误时,这种取舍有利于 Google;当最高性能系统干净利落地到位时,则有利于 Nvidia。

  • Jensen Huang 与供应商的关系本身就是产品的一部分。Doug 提到他与 Samsung、SK hynix 及其他亚洲合作伙伴会面并互相“示爱”:Nvidia 以 Google 管理层尚未明显做到的方式,为 HBM、封装、连接器、密度和未来路线图争取优先权。

25. HBM 让每一颗 AI 加速器都成为 DRAM 短缺的放大器

  • 内存机制始于一个约3:1到4:1的交换比例:在增加工艺步骤且良率不完美的情况下,生产1 bit 的 HBM,实际上会消耗数 bit 的普通 DRAM 产能。Doug 的比喻是,提炼一种新近变得不可或缺的航空燃料,需要消耗更多传统燃料。

  • 这轮需求出现在 Doug 所称的史上最严重 NAND 和 DRAM 短缺之后,或许只有1996年的情况可以类比。供应商的自由现金流大幅转负,停止支出,并推迟建设无尘室和设备,而这些设备的交付周期可能达到2—3年。

  • HBM 吸收高端产能,KV cache offload 和更广泛的 AI 系统则消耗中间层。衰退期没有增加备用产能,如今“比上帝还多的需求”正沿着每一个内存等级级联。

  • SemiAnalysis 的结论是,DRAM 价格还可能上涨100%,供应大约2年内难以追上需求。届时,Doug 预计会出现真正的需求破坏,而不是组件成本上升后无痛地转嫁出去。

26. 短缺将配给设备、上下文,甚至老内存

  • 近期需求破坏可能意味着超大规模云服务商推迟边际采购,尤其是在电力导致数据中心延期、建设周期从12个月拖到18个月的情况下。客户会先提前采购并对所有东西重复下单,随后在库存和电力约束追上来后暂停——这正是内存价格崩溃的典型触发器。

  • 消费者也会感受到分配效应。Shawn 建议尽早购买 iPhone,因为手机厂商最终会进入现货市场并传导更高成本;低端手机、游戏 GPU 和其他产品可能直接因价格过高而被挤出市场,而 AI 基建赢得稀缺供给。

  • CXL 可能在此前败给 HBM 后获得“一次射门机会”。运营商可以收集老 DDR4,把它放入扩展机架,再通过 CXL 连接——因为如今每一个可用内存 bit 都有价值,一种接近消亡的架构因此被重新启用。

  • 100万 token 的上下文窗口可能因此更像“一栋豪宅”,而不是普遍默认配置。Doug 认为,物理内存可能让完整上下文在未来5年甚至10年都维持在今天的规模附近,从而推动“上下文配给”;Shawn 则提出,稀缺上下文可能出现差异化定价,以及递归语言模型的可能性。

27. 固定权重芯片和 CPU 暴露了次级短缺路径

  • Shawn 问到 Taalas 将模型权重直接烧录进硅片、从而消除反复内存传输的做法。Doug 认为逻辑很有说服力:“加速的方法就是永远不要传输任何东西”,尤其是生产模型通常比前沿训练规模更小,或经过蒸馏。

  • 不确定性在于市场广度。一种高效固定模型可以大规模扩展推理,但权重变化和性能取舍留下了困难的设计空间;Shawn 对多数加速器初创公司仍持怀疑态度,因为此前太多公司没能走到量产。

  • CPU 面临更安静的挤压。云厂商在2020—2021年购买了约1000亿美元的 CPU 及相关设备,如今在将2年资本开支转向 GPU 后,正接近5—6年的刷新周期;与此同时,代理生成的软件、生产环境代理和强化学习模拟正在提高 CPU 利用率。

  • Doug 提出一个明确称为“精神分裂式锡箔帽脑”的猜测:近期网络服务不稳定,可能是氛围编程产生的生产错误与老化云基础设施叠加的结果。更确定的论点则简单得多:少量新增需求撞上一个严重投资不足的品类,就可能制造另一轮短缺。

28. Doug 先私下积累,再完成一次干净利落的写作

  • 在 LLM 之前,Doug 认为高吞吐量阅读和综合能力是自己最核心的信息技能。他可以按不同深度读完教材或朋友的博士论文,而写作则完成闭环,迫使他表达大量阅读最终形成的理解。

  • 从2021年10月开始每周发布文章,建立了这一习惯。他不喜欢 LLM 生成的散文,但会用模型进行构思、列提纲,并根据《On Writing Well》的经验进行编辑;文字本身仍然必须来自他自己的思考。

  • 他最好的方法是收集证据、列出大纲、深入思考,然后睡觉。第二天早上会提供一个“新鲜的上下文窗口”:他打开新标签页,一次性完成写作,通常先写到60%—75%,再补齐剩余空白。

29. 6个月的 Continental Divide Trail 让他看清了工具的使用者

  • 2021年,Doug 选择了 Continental Divide Trail,因为在美国3条主要长途徒步线路中,它最让他害怕。他在6个月内走了约2800—2850英里,大部分时间独自完成,并接受了自己可能再也不会遇到同等机会的事实。

  • 机会成本是真实存在的——他认为自己错过了 Substack 增长的重要一年——但这段旅程带来了职业加速无法提供的东西。那是一场真正的“冒险”,包含无聊、恐惧、饥饿、孤独,以及被压缩在一起的人生“最低谷和最高峰”。

  • 回到马斯洛需求层次的底部后,相比保暖、进食和活下去,抽象的信息工作显得“完全虚假”。Doug 更清楚地理解了自己的边界和动机,也让 Shawn 最后的总结显得恰如其分:“自我掌控是你最重要的工具。”