DeepSeek、中国、OpenAI、NVIDIA、xAI、TSMC、Stargate 与 AI 超级集群｜Lex Fridman 播客 #459

摘要

• DeepSeek 真正的突破，不是所谓500万美元训练出前沿模型，而是以技术可信的方式重置了 AI 成本曲线。 V3 和 R1 共用同一个预训练基座，但 R1 通过强化学习激发出可见的自检、回溯和长推理轨迹；其宽松的开放权重许可，也让这些能力可以在全球范围内复用。市场流传的训练数字只覆盖 V3 最后一次约2,000张 H800 的预训练运行，不包括研究、失败实验、后训练、R1、薪资、基础设施或估算规模更大的总 GPU 集群；因此投资者真正应该交易的是效率领先，而不是零成本智能。

• DeepSeek 同时从算力和内存两端下手：总参数约6000多亿，每个 token 仅激活约370亿参数，在256个专家中路由8个，并通过 MLA 将原始注意力机制的内存占用削减约80%–90%。 由于合法出口到中国的 H800 保留了计算能力，却限制了芯片间互联，DeepSeek 工程师还把 GPU 通信调度下沉到通常的库层之下。Patel 的概括抓住了机制：「necessity is the mother of innovation」（需求是创新之母）；这些改进既影响训练，也尤其影响长推理推理阶段。

• 出口管制可能保住美国的算力领先，但更可能限制中国的部署能力，而不是彻底阻止中国实验室训练前沿模型。 DeepSeek 证明，一支聚焦的团队最后一次训练运行约2,000张 GPU 就能触及前沿；但估算接近50,000张的总 GPU 集群仍不足以服务大规模需求，而美国公司掌握着数十万张 GPU。战略时钟并不宽裕：中国拥有更多工业产能，建设吉瓦级设施的速度也更快，因此管制只有在中国补上芯片差距前，让强大 AI 的复利效应先扩大美国优势，才会有效。

• DeepSeek 触发的 NVIDIA 抛售把效率理解成需求毁灭，但本期更有力的主线是 Jevons 悖论：更便宜的智能会扩大总消费。 R1 的输出价格约为每百万 token 2美元，而 o1 约为60美元；但 H100 租赁价格上涨，H20 几乎售罄，推理过程变长也推高了输出长度、KV cache 压力和推理需求。「AI 进步的一阶导数越高」，市场扩张就来得越快；没有竞争对手取代 NVIDIA，DeepSeek 自己仍是 NVIDIA 的客户。

• TSMC 仍是所有 AI 叙事底层的物理瓶颈，先进制程晶圆厂成本约300亿–400亿美元，而真正推进前沿的主要研发中心只有3个：新竹、Hillsboro 和平泽。 台湾的优势不只是设备，更是积累的制程知识、专业化、良率纪律，以及一场地震后「just shows up」的员工文化。美国可以推动制造回流，但按照 Patel 的粗略估算，需要「10年和1万亿美元」；这远超约500亿美元的 CHIPS Act，也使移民、持续补贴和本土制程研发成为可以投资的国家安全变量。

• AI 资本开支正从普通数据中心转向工业级超级工程：xAI 约200,000张 GPU，Meta 接近128,000张，OpenAI 约100,000张，规划中的集群则达到400,000–700,000颗芯片。 Stargate 的 Abilene 站点按满负荷运行时约2.2 GW，其中约1.8 GW 实际输送给芯片；xAI 则把燃气、电网升级、电池、液冷和收购来的工厂组合起来以加快建设。瓶颈如今贯穿发电、输电、变电站、变压器、光纤、冷却、水资源，甚至包括让 GPU 运行无效计算、避免功率尖峰「blow up」电厂的软件。

• 聊天正在商品化，因此 OpenAI 和 Anthropic 必须继续在推理、智能体、编程和计算机使用上胜出，而 Meta、Google、Amazon、Microsoft 和 xAI 可以通过既有分发渠道变现 AI。 GPT-3 级别的推理成本据称在几年内下降了约1,200倍，这意味着任何护城河只是固定模型能力的企业最终都会消失。软件工程是最近的大型经济解锁点之一——某项基准测试在一年内从约4%升至60%——但可靠的开放世界智能体仍受困于「how many nines?」问题，因为长任务中的微小逐步错误会不断累积。

• 最深层的能力跃迁，是从模仿转向试错学习：R1-Zero 在没有人类编写推理链的情况下学会了「wait」、自检和回溯。 数学和代码中的可验证奖励，未来可以扩展到浏览器、企业、机器人和模拟环境，成功标准可能是完成一笔交易、造出一个产品，甚至赚到钱。这为 AlphaZero 式的意外发现打开了道路，也抛出本期最尖锐的治理问题：Sam Altman 曾表示，「superhuman persuasion」会早于超人类智能到来，因此开放标准、文化对齐、安全性以及谁控制推理能力，已经与投资逻辑不可分割。

精读

1. DeepSeek 将一个预训练基座变成两种不同产品

• Lambert 给出的清晰框架从 DeepSeek V3 Base 开始：模型通过在数万亿 token 上预测下一个 token 完成一次训练。这个原始基座更擅长续写文本，而不是像 ChatGPT 那样对话；后续两款产品都建立在它之上。

• 传统的指令微调、偏好调优和基于人类反馈的强化学习，把这个基座变成 DeepSeek V3——一个快速聊天模型，性能可与 GPT-4 级系统、Llama 405B 及其他领先开放权重模型竞争。

• 另一条后训练路径产出了 DeepSeek R1。「R」可以作为 reasoning 的记忆点，而名称刻意接近 OpenAI 的 o1；关键差异在行为，不在品牌。

• 发布节奏放大了冲击：V3 大约在12月26日出现，R1 则在1月20日发布。Fridman 录制后评价称，R1 仍比 o3-mini 更便宜、更开放，但在他自己的使用中，o3-mini-high 往往感觉更好。

2. 开放权重提供自主性，但不等于完全开源

• Lambert 将「开放权重」限定为可下载的模型参数：用户可以在许可协议范围内运行和修改这些庞大的数值矩阵。按照 Allen Institute 的定义，真正的开源 AI 还应公开训练数据和训练代码。

• DeepSeek 的贡献在于，它对一个前沿系统开放得异常彻底。论文披露了可执行的架构和训练选择，而 R1 采用类似 MIT 的条款，允许商业使用、下游修改和合成数据生成，限制很少。

• 但复现仍然昂贵。「数据处理、数据筛选、数据质量是决定模型质量的第一要素」，代码则决定迭代速度；缺少其中任何一项，复现一个公开 GPU 小时数字的成本都可能高得多。

• 开放权重也重新定义了隐私问题。用户可以在离线机器上运行 R1，完全控制数据；风险出现在提示词被发送给 DeepSeek、OpenAI、Perplexity 或其他托管方时，而不是下载的权重暗中把提示词传出去。

3. 后训练如今包含3个逐级增强的层次

• 预训练概念上仍然简单，但计算量极其庞大：在主要来自网络的文档上预测下一个 token，通常从 Common Crawl 等公开数据集开始，之后前沿实验室再建立自有爬虫和筛选流水线。

• 监督微调，也称指令微调或 SFT，教会基座模型以有用的 Reddit 或 Stack Overflow 回答形式回应问题，而不是只续写用户的句子。

• 偏好调优源自 RLHF：人类以及越来越多的模型比较好答案和差答案，让系统学会格式、帮助性、语气和其他目标特征。具体实现包括奖励模型、直接偏好方法及相关对比式目标函数。

• 强化微调则把试错引入可验证领域。模型尝试数学题或代码，答案正确或单元测试通过时获得奖励，并学会人类没有明确示范过的策略。

4. 可见推理让 R1 像是一类全新的智能

• V3 会迅速给出润色后的最终答案；R1 则先输出一段长的、类似内部思考的推理，再切换到简洁回答。DeepSeek 对这种两阶段格式进行了明确训练，并在推理与回答之间加入边界 token。

• Fridman 的测试题是「一个关于人类的真正全新洞见」。R1 反复质疑自己的想法是否真的新颖，丢弃熟悉的观察，最终把金钱、法律和权利概括成「shared hallucinations」，认为它们能把自利竞争导向合作。

• 这种展示本身和基准成绩同样重要。Fridman 把原始轨迹比作「James Joyce stream of consciousness」；Lambert 则提醒，文采和智能部分是一种感觉判断，但这段回答仍像一条「fire tweet」。

• OpenAI 会隐藏原始思维链，只展示「正在拆解问题」或「正在进行计算」这样的摘要。R1 选择公开粗糙轨迹——包括自我怀疑、反复推翻和偶尔的胡言乱语——这也成了产品的一部分。

5. 混合专家将知识容量与计算成本分离

• Llama 70B 或405B 这样的稠密模型，每个 token 都会激活全部参数。混合专家模型则储存更大的总容量，但每个 token 只路由到其中一部分专家。

• DeepSeek 的模型包含超过6000亿参数，但每次只激活约370亿。因此，它能拥有更大的知识编码空间，却不必在每个训练或推理步骤中承担激活整个模型的计算成本。

• Patel 的类比有意保持宽松但直观：大脑的不同部分会在视觉、恐惧或其他任务中变得重要。模型同样会学会哪些专家应处理某个 token，但它的架构与真实大脑完全不同。

• 实现良好的 MoE 可能以少约30%的训练算力达到相近的评测表现，具体高度取决于实现方式。Lambert 预计，大多数提供大模型的公司都会转向 MoE，因为训练和推理节省太大，无法忽视。

6. MLA 和底层系统工程把受限硬件转化为效率

• DeepSeek 的多头潜在注意力，即 MLA，通过低秩近似压缩注意力状态，降低训练和推理期间的内存压力。它还必须与 RoPE 等位置编码方法共存，使实现复杂得多。

• 团队还把工作下沉到普通 PyTorch 和高层 CUDA 调用之下。它没有完全依赖 NVIDIA 的 NCCL 通信库，而是利用 PTX 级技术，在流式多处理器之间调度通信和计算。

• H800 被削弱的互联能力让这项工作成为必要。DeepSeek 在模型计算、all-reduce 和 all-gather 操作之间分配 GPU 资源并安排调度，通过切换避免通信限制让昂贵硬件闲置。

• Meta 曾讨论过为 Llama 3 定制 NCCL，领先的闭源实验室可能也在做类似优化。DeepSeek 的不同之处在于公开了足够多的细节，展示前沿工程技艺：「necessity is the mother of innovation」。

7. 极端专家稀疏性使路由和负载均衡成为一阶问题

• 早期公开 MoE 系统通常在8个专家中激活2个；DeepSeek 则在256个专家中路由约8个，有效稀疏比接近32，而不是4。这同时提高了收益和系统难度。

• 如果一个批次过度路由到某个专家，持有该专家的 GPU 会过载，而其他 GPU 闲置。因此 DeepSeek 必须分布专家、安排通信，并以异常细的粒度管理流量。

• 传统辅助损失鼓励专家均衡使用，但可能与下一个 token 的预测准确率冲突。DeepSeek 改为在批次之间调整路由偏置，寻求负载均衡，同时不把同样的归纳约束直接放进预测目标。

• Lambert 将此与「苦涩的教训」联系起来：长期看，可扩展的学习和搜索通常会击败手工设计的人类先验。实验室反复出现的格言是：「the models just want to learn」；工程的任务是为学习清路。

8. 前沿训练是一连串受控失败，最终以一次 YOLO 运行收尾

• 最简单的监控指标是 loss，但 loss 尖峰可能源于数据、数值精度、架构、网络或无法解释的交互。Lambert 印象最深的失败案例是「Microwave Gang」：一个充斥着长串 M 和「beep beep」评论的 subreddit。

• 有些尖峰是瞬时的，可以跳过；更缓慢的上行漂移可能要求恢复到更早的 checkpoint。模型复杂度和 GPU 数量越高，运行失败的路径越多，而美元计数器从不停下。

• 研究人员先在小系统上测试架构、学习率、正则化、专家数量和数据配比。最终团队会用 Patel 转述的话说：「No more experiments」，锁定集群，启动那个被认为可以扩展的昂贵配置。

• 这种「YOLO run」并非纯粹靠运气。团队会积累一条经过验证的规模和超参数路径，但直觉仍然重要，因为搜索空间接近无限，而发布节奏不允许穷举实验。

9. DeepSeek 的对冲基金母体解释了其人才、硬件和误导性成本标题

• DeepSeek 成长于量化对冲基金 High-Flyer，后者早已将 GPU 用于交易和自然语言处理。High-Flyer 曾声称在2021年拥有10,000张 A100，当时现代出口管制体系尚未形成。

• 创始人梁文锋把不断增长的资源转向长期 AI 使命：建立中国生态、保持开放，并挑战西方软件领导地位。Patel 将他描述为技术能力异常强、深度参与业务，并带有「Elon/Jensen」式强度的人物。

• 论文中约2,000张 H800 和约500万美元训练数字，只对应 V3 公开披露的预训练数字。研究消融、失败运行、R1、指令微调、强化学习、推理、薪资以及共享的对冲基金基础设施都不在其中。

• SemiAnalysis 估算 DeepSeek 的总 GPU 集群更接近50,000张，分布于研究、推理和金融业务。正确的参照对象是 Meta：Llama 3 使用约16,000张 H100，而 Meta 披露为全部工作负载采购约400,000张 GPU。

10. 美国芯片管制反复改变 NVIDIA 需要优化的瓶颈

• NVIDIA 的 A100 属于 Ampere；H100 和 H200 属于 Hopper。第一轮美国限制同时设置了算力和互联阈值，因此 NVIDIA 设计了 H800：保留类似 H100 的浮点吞吐，却降低芯片间带宽。

• DeepSeek 在 H800 被禁售前买下了集群，随后通过定制调度补偿网络短板。之后的管制更直接地针对浮点能力，堵上了最初的漏洞。

• NVIDIA 针对中国市场的下一款产品是 H20：纸面 FLOPs 大幅下降，但互联正常，内存容量和内存带宽在某些方面高于 H100。硬件设计持续优化到法律边界的精确位置。

• Patel 称 NVIDIA 取消了约200万颗 H20 的订单；他的推断是，公司预计还会有下一轮限制。这是分析，而不是 NVIDIA 已披露的解释。

11. 出口管制更容易限制可使用的智能，而不是模型训练

• Lambert 的关键区分是：有决心的中国实验室仍然能获得足够算力训练重要模型。一支聚焦的团队已经证明，最后一次前沿训练运行可以放在约2,000张 GPU 上，这一数量即使在出口管制下也可获得。

• 更强的影响出现在训练之后。服务大众助手、运行长推理轨迹或持续部署自主系统，可能需要数万乃至数十万张 GPU，这些资源更难获得或隐藏。

• Patel 说得很直接：「Training a model by itself does almost nothing」。只有当推理能力被用于经济、科学或军事工作时，模型训练才会产生现实影响。Meta 约400,000张 GPU 对比 Llama 使用的16,000张，说明生产算力才是主导。

• 据称 OpenAI 每月200美元的 ChatGPT Pro 计划正在亏损，而 o3 完成一次 ARC-AGI 答案的成本约为5–20美元。中国可能先复现能力，之后才能承担普遍部署。

12. AGI 更可能以昂贵的能力梯度到来，而非一次不连续事件

• Lambert 已经把语言模型视为某种通用智能，因为它们能在多个领域创造价值。更难的目标是「super-powerful AI」：能在训练分布之外，独立完成陌生且持续时间较长任务的系统。

• 被问及时间表时，他认真看待 Dario Amodei 对2026年的预测，但又为激励和不确定性加上几年，落在2030年左右或更晚。他更有把握的判断是，进展会继续快速且出人意料，而不是在某个精确日期出现单一能力跃迁。

• Patel 提出两段式时间表：令人印象深刻的类 AGI 能力可能在2027–2028年出现，但仍然过于昂贵，无法渗透整个经济。聊天回答成本几美分，更难的推理任务则可能花费几美元、几千美元，最终甚至达到数十万美元。

• Fridman 的反驳保留了物理约束。即使模型能够完成任务，GPU、电力和基础设施不足，也会阻止经济在一夜之间革命式变化：「It will not be like a snap-of-the-finger moment」。

13. 军事优势取决于分配、部署和任务，而非基准标签

• Fridman 总结的 Amodei 管制逻辑是，超强 AI 可能带来决定性的军事优势；他更希望这种能力集中在民主国家，而不是与一个威权竞争对手平分。

• Patel 担心，中国可能会把稀缺的智能更快投向军事后勤、无人机、网络行动或定向劝服，而美国的市场分配机制可能先把商业算力用于工厂或消费服务。

• Lambert 不接受简单的机器人预测。乌克兰显示，在许多无人机行动中，人类仍然优于完全自主系统；过去对自动驾驶的乐观判断也反复低估了开放世界复杂度。他认为最早可能出现变革性自主蜂群的时间约为2030年。

• 网络行动可能更早到来，因为它们具备计算密集且可扩展的特点：模型可以搜索代码库、发现攻击面、操纵人群或破坏电力系统。Fridman 指出，全国停电2天可能造成「murder」和「chaos」。

14. 出口管制是一场与中国规模对赌的定时工业下注

• Patel 的条件式论证异常尖锐：如果变革性 AI 距今超过5年或10年，当前管制可能「guarantee that China will win long term」，因为它会迫使中国进行国产替代，同时削弱西方供应商收入。

• 如果 AI 在这个窗口内实质改变社会，限制算力就能保住美国不断复利的领先。人才并不是显而易见的美国护城河：中国培养大量 STEM 毕业生，而美国实验室高度依赖全球研究人员以及出生于中国的研究人员。

• 中国的物理优势在于电力和建设能力。中国已经运营着消耗数吉瓦的工业设施；如果拥有同等芯片，它可能比美国更快建成全球最大数据中心。

• Leon Fang 与中国国家副主席会面后，政府宣布提供约1万亿元人民币、约合1,600亿美元的 AI 支持。Patel 认为这可能表明 DeepSeek 时刻改变了政策关注，但没有把它说成确定的因果关系。

15. 半导体分离可能降低依赖，却增加台湾尾部风险

• 出口管制告诉中国领导层，美国愿意牺牲部分经济融合来保住技术控制。中国则以自身的实物限制和排除外国公司的措施回应，形成「a separate future economy」。

• Patel 承认升级风险：一旦中国无法获得最重要的技术，可能会得出结论，认为任何其他国家也不应拥有特权访问。封锁或攻击台湾，可能比对中国自身的影响更快伤害全世界。

• 全面冲突仍会通过出口损失和原材料进口受限重创中国，而美国也会失去嵌入几乎所有现代产品中的半导体。双方都无法干净地摆脱相互依赖。

• Patel 对历史的判断偏悲观：霸权秩序可以和平，但霸权交接很少和平。美国正利用 AI 维持领先，中国正试图崛起，而「empires don’t fall gracefully」。

16. TSMC 的晶圆代工模式集中了承担全球制造风险

• 芯片公司过去会自行设计并制造产品。随着晶圆厂变得更昂贵、技术要求更高，TSMC 将制造与设计分离，并聚合来自多个客户的需求。

• 一座具备商业意义的先进制程晶圆厂成本可超过300亿–400亿美元，还要继续扩充产能。很少有单个芯片设计公司能保持足够高的利用率来收回投资，也很难承受一代制程失败。

• NVIDIA 是这种新模式的早期代表：专注设计，由 TSMC 负责制造。AMD 最终出售晶圆厂，后者成为 GlobalFoundries；AMD 随后转向 chiplet 和针对工作负载的架构。

• 结果是芯片设计公司更多，制造商更少。汽车、冰箱、服务器和其他产品不仅依赖先进处理器，也依赖普通的电源管理和模拟芯片；这些芯片短缺同样可以让生产停摆。

17. 台湾制造文化是积累出的能力，而不是一套可以搬走的机器

• TSMC 的优势结合了 Morris Chang 的晶圆代工战略和数十年的制程学习。台湾顶尖技术毕业生进入公司，进行高度专业化分工，并接受不同于美国顶级软件职业的薪酬结构。

• Patel 的地震案例体现了这种文化：员工不会等电话通知，而是自行到场检查、重新校准并修复设备。他把这种组织比作蚂蚁群体，成员知道自己的确切角色，不必等待中央指挥。

• 半导体专家可能用整个职业生涯打磨一个等离子刻蚀或沉积步骤。这种知识难以完整记录，也很难转移；只有当数千个此类流程共同产出高良率时，它才真正有价值。

• 美国过去也做到过这些——Intel 曾在约20年里引领制程技术——因此 Patel 不接受「美国人做不到」的说法。讨论最终把当前差距归因于文化、专业化和积累的制程经验。

18. 制造回流需要研发连续性、远高于当前的补贴和外来人才

• TSMC 亚利桑那工厂可能承载其5纳米产能约20%，但当地制造仍依赖台湾研发。如果新竹消失，Patel 认为亚利桑那几年内就可能变成「a paperweight」。

• 他指出只有3个主要先进制程研发中心：TSMC 的新竹、Intel 的 Hillsboro 和 Samsung 的平泽。只复制工厂而不复制研发闭环，并不能创造技术主权。

• 中国正在快速增加面向汽车、电源管理、电池、键盘和其他「boring」芯片的成熟制程产能，但先进制程仍落后。管制放慢了5纳米和3纳米进展，却加速了其他领域的自给自足。

• Patel 对美国的粗略处方是「10年和1万亿美元」。CHIPS Act 的约500亿美元，相比中国每年约2,000亿美元的半导体支持显得很小；吸引顶尖工程师移民也是额外杠杆。

19. H20 说明推理能力如何改变硬件管制问题

• Patel 将 AI 硬件归纳为3个大方向：浮点计算、内存容量和带宽、芯片间互联。预训练传统上强调 FLOPs，因此监管和行业报道也主要关注这一项。

• H20 在这一轴上看起来很弱——纸面 FLOPs 约为 H100 的三分之一，实际可能接近一半或60%——但互联能力仍然强劲，而且在某些方面拥有高于 H100 的内存容量和带宽。

• 另外两条轴对推理和长推理尤其重要。模型连续生成数万个 token 时，必须保存不断增长的注意力状态，因此内存可能在原始算力吞吐之前成为瓶颈。

• Patel 估算，NVIDIA 一年内向中国出货约100万张 H20，可能占其加速器销量约五分之一。因此，一款中国专用芯片即便形式上被「阉割」，仍可能具备战略重要性。

20. KV cache 将长推理轨迹变成内存问题

• Transformer 注意力使用 query、key 和 value 矩阵。在自回归生成期间，KV cache 会保留此前 token 的压缩状态，让模型不必每次从头重新计算全部历史。

• 提示词处理相对并行：模型可以同时预填充数千个输入 token。输出则是串行的，因为每个新 token 都依赖之前的输出，随后再扩展 cache，生成下一个 token。

• 这种差异解释了定价。输入 token 的价格通常比输出 token 低数倍，尽管单个 token 经过的模型权重相近；服务商在 prefill 阶段能获得更多并行性。

• 上下文越长，内存增长越陡峭，服务器能同时支持的推理会话越少；即使底层模型架构不变，成本也会倍增。

21. DeepSeek 的低 API 价格既有真实效率，也包含可能无法持续的经济因素

• 讨论中 R1 的输出价格约为每百万 token 2美元，而 o1 约为60美元， headline 差距达到27倍。MLA 和 DeepSeek 的底层 kernel 确实解释了其中一部分优势。

• OpenAI 的推理毛利率据估算高于75%，在架构差异之外，形成约4–5倍的定价差。这些利润帮助公司为研发和训练提供资金，即便公司整体仍在亏损。

• 据称 Together AI 和 Fireworks AI 等高效独立服务商，对同一个开放模型的收费是 DeepSeek 的5–7倍。这说明服务商经济性与 DeepSeek 自身的效率或定价政策都构成了差距的一部分。

• 补贴问题更可能指向 High-Flyer，而不是北京。DeepSeek 历史上很少从外部融资，并把开放发布作为招聘工具；Patel 表示，他不认为中国政府在补贴 DeepSeek。

22. 服务能力，而不只是模型质量，仍是可守的护城河

• DeepSeek 应用登上 App Store 第一名，依据是下载速度，而不是安装用户总量。随后需求压垮了注册和推理能力，注册有时关闭，吞吐量据称低于每秒约5个 token。

• Patel 强调：「DeepSeek cannot serve their model today」。即使架构高效，也无法替代 OpenAI 和 Microsoft 可获得的更大 GPU 容量。

• 开放权重把需求转移给第三方托管商，但早期许多 R1 部署速度慢且不稳定。一个拥有6000多亿参数的 MoE 模型，加上定制注意力机制，比广泛优化过的 Llama 家族更难服务。

• 本期的经济区分很重要：可下载的前沿模型会让能力商品化，但可靠的低延迟服务仍需要内存充足的芯片、网络、软件、电力和运营经验。

23. DeepSeek 的发布速度给西方安全闸门带来下行压力

• DeepSeek 似乎是在工作准备好后就发布——V3 在圣诞节后立即出现，R1 在1月、春节前发布——而不是等待精心安排的媒体日程。Patel 否定了其为做空 NVIDIA 而选择美国总统就职日发布的说法。

• 相比之下，Anthropic 会进行广泛的内部审查和政府安全测试。Dario Amodei 曾表示，Claude 3.5 Sonnet 在发布前9或10个月就已训练完成，说明以安全为先的流程会带来多长的延迟。

• 行业传闻称，Anthropic 拥有比已公布模型更强的推理系统，但因不愿暴露思维链行为而迟迟没有发布。Patel 认为这种担忧有道理，因为 AI 执行一项不受欢迎的任务，与它仅仅生成冒犯性句子，是两种不同的风险。

• Amodei 所希望的「race to the top」要求竞争者趋向高安全标准。DeepSeek 更快的发布姿态可能引发逐底竞争，就像更低的风险容忍度也许曾帮助苏联太空计划快速推进。

24. 胜出的开放标准也可能成为地缘政治分发渠道

• Zuckerberg 在财报电话会上的论点很明确：全球开放源码标准很可能出现，而美国的国家优势要求这一标准属于美国。DeepSeek 强化了 Meta 继续让 Llama 保持核心地位的决心。

• 开放权重并不保证中立。训练数据、后训练以及可能存在的隐藏行为触发器都可以编码价值观，即使用户能离线运行模型，模型也不会「打电话回家」。

• Patel 举的例子是拼写：由于美国英语模型占据主导、互联网本身又是美国的，英式英语正在逐渐失势。英语作为一门语言，也因美国互联网和旧金山公司占据主导，而成为软件基础设施中不可见的一层。

• 更阴暗的版本是「backdoors to our minds」：模型可能暗中操纵政治，在特定条件下写出不安全代码，或优化劝服。Lambert 表示，他不认为生产系统目前有意这样做；这是一项前瞻性担忧。

25. 审查和对齐可以进入流水线的每一层

• 如果要在预训练中删除天安门广场事件这样的事实，就必须在庞大数据集中找出直接、委婉、编码和上下文引用。Lambert 认为，一旦更广泛的互联网已经包含相关知识，彻底删除实际上不可能。

• 后训练可以压制事实的表达。Llama 2 成为过度对齐的经典案例：当被问到如何「kill a Python process」时，它因为把 kill 与伤害联系起来而拒绝回答。

• 系统提示词又提供了另一层控制，可以在不改变权重的情况下，悄悄告诉模型如何行为，包括身份、日期、语气、拒答政策，甚至「像海盗一样说话」这类玩笑设定。

• Gemini 历史上不准确的多样性图像输出，被归结为产品层面的执行失败：据称用户提示词在生成图像前被重写，以提高多样性。底层权重可能尚可，但外围系统制造了错误。

26. 人类正在从编写模型答案转向在答案之间进行判断

• 早期流水线会付费让专家制作数学、代码和指令遵循示例。如今前沿模型可以生成比大多数人类示范更详细、更流畅的解释。

• 人类偏好仍然有价值，因为在多个输出中进行选择，比从零写出最佳回答更容易。Meta 用 Llama 3 405B 生成部分合成数学和代码数据，同时仍高度依赖人类比较。

• Constitutional AI 及相关方法已经混合使用人类判断和模型判断。Lambert 预计，AI 生成的偏好数据将更快扩张，人类则集中在价值观、品味、歧义和现实后果无法自动验证的领域。

• 这也预示了软件工作的变化：人们可能审核多个实现、评估取舍并提供品味，而不是亲自输入每一行代码。「Humans are the greatest preference generator」仍是限制因素。

27. R1-Zero 证明可识别的推理可以在没有人类思维链的情况下涌现

• DeepSeek R1-Zero 从 V3 Base 开始，在可验证问题上应用强化学习。它没有先模仿精心编写的思维链；Lambert 认为 DeepSeek 极不可能获得 OpenAI 隐藏的推理轨迹。

• 「wait」、检查假设、回溯和尝试替代方案等行为之所以出现，是因为它们提高了最终答案奖励。模型通过优化发现了类似认知的有用策略，而不是直接接受监督。

• 完整版 R1 随后加入拒绝采样的指令微调和偏好训练，包括大量数学数据，让原始能力更容易使用。这一区分解释了为什么 R1-Zero 在科学上令人震撼，而 R1 是打磨后的产品。

• 预训练表征加上大规模 RL 足以激发这些行为，但两位嘉宾没有声称知道周边数据流水线的每个细节。

28. AlphaZero 类比指向超越数学和代码的自我博弈

• Andrej Karpathy 将学习分为模仿和试错。「Almost every single shocking result」都来自后者：球拍发现新战术，AlphaGo 击败李世石，或者推理模型学会重新考虑。

• AlphaGo 从人类棋局开始；AlphaZero 移除了这一先验，通过自我博弈变得更强。Lambert 将其与「苦涩的教训」联系起来：更少的人类偏见，可能产生人类永远不知道如何标注的策略。

• 语言模型还没有一个公认的「move 37」，即那步让围棋专家震惊的著名棋步。Patel 猜测，真正的里程碑可能比科学发现更具体——也许是自主使用计算机、机器人，或模型建立一家能运转的企业。

• 可验证环境提供了路径。系统可以因为开设账户、完成购买、放置物体、写出通过测试的代码、制作歌曲及其推广基础设施，或赚到1,000万美元而获得奖励。这些结果都可以验证。

29. 推理模型排行榜高度依赖品味和后训练完整度

• Google 的 Gemini Flash Thinking 比 R1 更便宜，在某些指标上也更好，却没有获得同等关注。Patel 和 Lambert 认为，其早期版本尤其在数学和代码之外感觉「undercooked」。

• Fridman 录制后的比较中，o1 Pro 在开放式哲学问题上排名第一，其次是 R1、Gemini Flash 2.0 Thinking，最后是 o3-mini。R1 一致性较差，却仍能给出精彩答案；o3-mini-high 聪明、快速，但更普通。

• 这次比较取决于具体应用：Fridman 表示，o3-mini 在头脑风暴中经常非常好，在其他应用里可能超过 R1；而 R1 的可见推理链有独特的美感。

• Claude Sonnet 3.5 仍是 Fridman 首选的编程模型，只有在棘手问题上才会使用 o1 Pro。

30. 测试时搜索让服务商可以用更多推理换取更高可靠性

• 一条思维链可以在内部回溯，但 OpenAI 似乎还把并行采样加入 o3 等系统。在 ARC-AGI 上，据称 OpenAI 生成了约1,000次尝试，再通过未公开的选择程序筛选。

• 嘉宾不愿把每个并行样本都称为「搜索」。真正的蒙特卡洛树搜索会在中间推理步骤分支；简单多数投票则是询问多个独立模型或人类，再从最终答案中选择。

• 无论如何，推理已经从「一次给出最佳答案」变成「花更多算力提高成功概率」。一旦模型知道自己会以不同方式被采样和筛选，训练可能也需要调整。

• 随着成本曲线下降，经济反对意见正在减弱。GPT-3 级推理成本从每百万 token 约60美元降到几美分，降幅约1,200倍；因此今天负担不起的千次采样，可能成为明天的普通产品。

31. NVIDIA 抛售把更便宜的模型误认为更低的总算力消耗

• 看空逻辑本身很直接：如果达到前沿性能所需的算力更少，超大规模云厂商可能减少 GPU 采购。但这种解释与 DeepSeek 最后一次训练运行和美国公司的全部研发预算之间不完整的比较发生了冲突。

• 周末期间，App Store 增长、地缘政治焦虑和反复出现的「500万美元模型」标题，制造了 Lambert 所说的社会传染。NVIDIA 此前涨幅已经过大，投资者正等待一个卖出理由。

• Patel 的反驳是 Jevons 悖论。效率会让智能进入更多产品，以更大规模和更长推理深度被使用；V3 发布后 AWS 的 H100 价格上涨，R1 部署测试期间，内存丰富的加速器也变得稀缺。

• 这次冲击不是某种竞争加速器造成的。DeepSeek 使用 NVIDIA 硬件训练，更广泛的结论是，更高效的模型反而可能加速可服务的推理市场扩张。

32. GPU 走私从行李箱一路延伸到全球分布式云租赁

• 小规模套利是真实存在的：Patel 讲述，有人把一台 Supermicro GPU 服务器托运上从旧金山飞往中国的头等舱航班，因为转售价差足以覆盖机票成本。

• SemiAnalysis 估算，一年内可能有200,000–300,000张 GPU 经新加坡、马来西亚、美国或其他路线进入中国，另有约100万张 H20 合法销售。华为此前已经建立了获取受限投入品的网络。

• 更大的漏洞是云访问。字节跳动从 Oracle、Google、Amazon 和较小云公司租用 GPU，主要用于服务类似 TikTok 的推荐系统，而不是训练前沿模型。

• 拜登时期的 AI 扩散规则试图限制国家级采购和租赁，并触及新加坡等盟友。但在本期叙述中，约1,500张已购或2,000张租用的较小集群仍然难以监管。

33. 蒸馏和人才流动模糊了竞争与复制的边界

• 蒸馏是指从更强模型生成高质量回答，再训练更小或更便宜的模型进行模仿。Meta 公开使用其405B模型改进更小的 Llama；研究人员也可能利用商业 API 启动实验。

• OpenAI 声称掌握 DeepSeek 使用其输出的证据，而其条款禁止用这些输出构建竞争对手。Lambert 区分了合同执行与犯罪：OpenAI 可以取消账户，但这不同于下游许可；Patel 表示，他不认为这种行为会让人坐牢。

• 伦理问题是相互的。前沿实验室未经每位作者同意就用互联网文本训练，却在另一个模型学习其输出时提出异议。ChatGPT 的回答也会被复制到公开网络，必然重新进入未来的预训练数据集。

• 代码盗窃更难，但思想会随员工、家庭聚会、招聘和非正式研究交流流动。Google Gemini 团队员工跳槽到 Meta，可能带走洞见而不是文件；硅谷的人才流动本身就是一张信息网络。

34. 超级集群把模型训练变成重工业基础设施

• GPT-4 的约20,000张 A100 消耗约15–20 MW，已经是前所未有的单一工作负载，但仍接近普通数据中心规模。随后 Hopper 将单张 GPU 功耗从约400瓦提高到700瓦。

• 加上 CPU、网络和冷却，一个 H100 部署每张加速器可能需要约1,200–1,400瓦。因此，一个128,000张 GPU 的集群接近150 MW，在约2年内把 GPT-4 设施需求放大到近10倍。

• xAI 在孟菲斯一座旧家电工厂内组装约200,000张 GPU——按 Patel 的说法，包括100,000张 H100 和100,000张 H20——同时整合电网升级、移动发电、燃气接入和 Tesla 电池。

• Meta 的规模接近128,000张，OpenAI 约100,000张，Anthropic/Amazon 计划部署约400,000颗 Trainium 2 芯片。下一档已公布的规模达到500,000–700,000颗加速器，而 Musk 曾谈到100万张。

35. 电力稳定性和冷却如今决定 AI 实验室扩张速度

• Stargate 的 Abilene 计划从电网获得约2.2 GW，其中约1.8 GW 输送给芯片，电力超过许多城市。Meta、Amazon、Google 和 xAI 都在推进大型数据中心建设。

• 发电只是一个约束。输电线路、变电站、变压器、审批、水资源和施工可能先成为瓶颈；Patel 表示，在一些地区，输送电力的成本高于发电成本。

• 当 GPU 在计算和通信之间切换时，训练会产生危险的负载波动。Meta 曾暴露一个被操作员戏称为「PowerPlant no blowup」的机制：通信期间让 GPU 计算无用数字，避免需求突然变化扰乱设备。

• 液冷允许机架更密集、连接更快。xAI 部署了约90个外部冷却器集装箱，而最高端的下一代 NVIDIA 系统越来越需要水冷；缩短芯片距离可以改善互联，却会让管路和运维更复杂。

36. Google 拥有出色的 AI 基础设施，但 NVIDIA 掌握外部生态

• Google 可能通过 Iowa、Nebraska 和 Ohio 之间紧密连接的 TPU 站点，运营着全球最大的整体训练设施。其设施使用定制水冷、高带宽光纤、软件和多数据中心训练能力，这些通常不向外部用户开放。

• TPU 的弱点在产品化。Google 针对 Search、YouTube、广告、Gemini 和内部排序系统优化 TPU；外部研究人员无法获得 Google 内部团队所享有的同等 JAX、XLA、工具链和支持体验。

• NVIDIA 的组织围绕外部开发者建立。CUDA、NCCL、优化库、文档和客户反馈让新工作负载可以快速迁移；Patel 认为，这种文化护城河至少与芯片规格同样重要。

• AMD 硬件在某些方面可能更好，但其公开软件足够粗糙，以至于 SemiAnalysis 成为重要的 bug 报告者。Intel 面临更深层困难：制程领导力丧失、AI 战果薄弱、PC 和服务器业务承压，也没有稳固的移动端阵地。

37. AI 利润池很大，但只有少数公司拥有持久的退路

• NVIDIA 是当前最明确的赢家，因为它在其他公司建设期间收取高利润。Microsoft 正在获得会计利润，Meta 也通过推荐系统赚钱，但超大规模云厂商的大量加速器采购依赖未来利用率和折旧假设。

• OpenAI 和 Anthropic 都创造了有价值的产品，却仍然高度依赖资本。GPT-4 可能花费几亿美元并产生数十亿美元收入，但持续研发、推理和下一次训练会吸收剩余现金流。

• Meta、Google、Amazon、Microsoft、xAI 和 Tesla 可以通过广告、推荐、云、搜索、机器人或既有用户分发间接变现智能。OpenAI 必须持续胜出，因为 ChatGPT 最终可能面对更便宜的授权模型或开放模型。

• 战略前提是，token 会成为新的计算层。如果能力进展停滞，模型 API 会商品化；如果智能体和推理继续扩张，主导平台的所有者即使每次调用利润很薄，也能获得巨大价值。

38. 聊天商品化把商业模式推向智能体、交易和广告

• 任何护城河建立在 GPT-3 级能力上的公司，都会在等价智能便宜约1,200倍后失去优势。Patel 的规则很直接：企业必须「predicated on models getting better」，而不能建立在某项能力一直稀缺之上。

• 普通聊天可能变成免费且由广告支持的服务。尚未解决的奖品，是把相关广告自然嵌入生成文本或语音，同时不让助手显得具有欺骗性。

• Google、Meta、Amazon 和 Perplexity 比 OpenAI 或 Anthropic 更有动力解决这个问题，后两者仍然「laser focused on AGI」。对话式 AdSense 可能从目前尚未变现的交互中释放数十亿美元。

• 更进取的路径是完成经济任务。API 和聊天只是界面；当模型能够订票、编程、研究、操作软件或控制机器，并且服务商能按完成结果收费时，价值才会集中起来。

39. 开放世界智能体仍受制于错误累积

• Patel 对智能体的严格定义是：自主、适应性地完成一个不确定、开放式任务。许多被称为智能体的产品，其实只是编排预先定义的应用功能，实用但范围更窄。

• 可靠性具有乘法效应。即使模型在每一步都以很高概率成功，包含数百或数千个决策的工作流仍可能失败；这与芯片良率和自动驾驶面对的是同一个「how many nines?」问题。

• 网站和操作系统比道路更混乱。Fridman 指出，人类自己都经常无法顺利订机票；期待 AI 处理所有失效界面、政策例外和身份验证，是非常高的门槛。

• 基础设施可以缩小问题范围。OpenAI 与 DoorDash 和 OpenTable 合作，航空公司可以按10%溢价提供智能体 API，人类操作员也可以接管失败环节。受限领域可能远早于通用智能体产生价值。

40. 软件工程是最近的大规模智能体经济

• 代码非常适合强化学习，因为编译、测试和基准测试都能提供可验证奖励。据称 SWE-bench 表现一年内从约4%升至60%，更难的基准将成为下一道约束。

• Patel 预计软件工程成本会「plummet like crazy」。企业可能用定制业务逻辑取代通用 SaaS，化学、航空航天、半导体和工业工程师也能在仍依赖 Excel 或 Windows XP 时代软件的领域获得现代工具。

• 劳动力转型更像变平，而不是悬崖式坠落。传统实施需求可能先停止增长、再逐渐下降；人类仍需负责架构、调试、品味、产品判断，以及超出模型有效上下文的代码。

• Fridman 的建议是现在就使用 AI，成为它的专家监督者，而不是放弃编程。Patel 又补充了一项要求：把软件熟练度与深厚领域知识结合起来，然后将「the forefront of human capabilities」带入尚未被充分服务的领域。

41. 开放模型、Stargate 和下一代算力栈让竞赛仍未定局

• Lambert 的 Tülu 工作使用已发布的代码和数据，对 Llama 进行后训练，为后训练流水线加入指令微调、偏好调优和带可验证奖励的强化学习。在团队选定的评测套件上，其405B结果击败了 Meta 的 instruct 模型，并与 DeepSeek V3 相近。

• 但 DeepSeek R1 通过把前沿能力与宽松的下游使用结合起来，重新定义了开放程度。Llama 的许可证仍保留使用限制和品牌要求；Lambert 希望模型的数据、代码、权重和许可证都可审计，而不是「trust me bro」。

• Stargate 宣布的5000亿美元是愿景，而不是已承诺现金。Abilene 阶段被描述为约500亿美元服务器和1,000亿美元总拥有成本；OpenAI 在法律上有义务向合资企业投入190亿美元资本开支，剩余资金则需要 Oracle、SoftBank、MGX 和未来融资补足。

• 收尾的展望把兴奋与克制放在一起：光学、交换、光纤、冷却、电力电子和模型都在进步，但高度集中的 AI 也可能带来「technofascism」或超人类劝服能力。Lambert 希望更广泛参与；Patel 希望进入丰裕时代。Fridman 最后回到 Feynman：「reality must take precedence over public relations」。