Nathan Lambert

Anthropic 对蒸馏的警告，已将前沿 API 访问变成地缘政治与能力控制问题。 Nathan Lambert 认为，受 GPU 约束的中国实验室“显然应该这么做”：购买 Claude 输出，比在内部生成可比质量的合成数据更容易；而 Anthropic 将分布式采集称为“攻击”。服务条款主要赋予供应商终止访问的权利，但如果重新加强执行，供应商可能会把最强模型留在产品内，或限制高端 API 的访问。

执行难点在于认识论：API 运行期间，评测与蒸馏看起来完全一样。 Sebastian Raschka 用了基本相同的循环来跑 MATH-500、一个包含12,000个样本的数学数据集，以及通过 OpenRouter 调用 DeepSeek V3.2 的书籍实验；只有在事后保存输出并用于训练，行为才会显出差别。请求量、重复程度和主题分布，可能在数万或数十万次请求时暴露采集行为，但合法基准测试会把问题运行3到5次，生产环境的聊天机器人也会产生巨大流量，由此形成令人不适的隐私权衡。

Anthropic 的证据高度依赖时间窗口，尤其是 MiniMax 与 DeepSeek 流量之间的差距。 swyx 注意到，Opus 4.6 发布后，MiniMax 几乎将一半流量切换过去，这与 MiniMax 2.5 正在训练的判断一致；DeepSeek 约150,000次交互，可能对应另一段训练窗口。如果不知道请求发生在4周还是6个月内，Nathan 认为 Anthropic 强调 DeepSeek 部分也是一种传播策略：它是“美国人唯一知道的中国 AI 名字”。

蒸馏数据并非天然有价值，教师模型必须适配学生模型。 Nathan 表示，Qwen-dense 模型往往比更强的前沿系统更适合教会 Qwen 类开源模型，而 GPT-OSS 也是一个出人意料的好教师模型：“你有了这些数据，不代表它真的会让你的模型变得更好。” 实验室需要先证明 Claude 数据能够产生有效信号，再决定是否付费提取1,000亿个 token，尤其是在大模型生成速度约为每秒40个 token 的情况下。

API 可能不如围绕 API 构建的产品构成有效护城河。 Nathan 称 API 市场“竞争惨烈”，并认为如果 Anthropic 真担心蒸馏，可能会把最强模型直接放进 Claude Code，而不向市场广泛提供；Sebastian 则反驳称，聊天机器人、OpenClaw 工作负载，以及超出订阅额度的用户，都会创造规模可观的非补贴 token 生意。swyx 认为 Anthropic 有“Apple 的感觉”，同时称 OpenAI 的领导层由于理想主义和原则，不太可能把模型锁在产品背后——尽管据报道，最近3个 GPT-5 Codex 变体都曾获得2到4周的产品独占窗口。

SWE-bench Verified 已无法区分前沿编码模型，因为饱和度与任务缺陷共同淹没了有效信号。 分数集中在80多分，而重复运行的噪声约为0.5到1分，因此发布版本之间微小的提升“显然是胡扯”。OpenAI 后续审计发现，剩余顽固任务中有59%按原题无法解决；其中一个任务暗中要求精确使用字符串 get_annotation，使记忆原答案成为唯一可靠路径。

下一轮评测的成本会实质性上升，隐私性也会更强。 GPT-5 使用了更晚版本 Django 的知识，而 Gemini Flash 和 Opus 仅凭任务 ID 就能复原题目与解法，这说明公开 GitHub 基准会污染模型，即使不存在蓄意作弊。SWE-bench Pro 增加了更新的任务、私有/公开拆分、更多仓库和语言，但嘉宾预计前沿评测的成本将达到数百万美元，之后可能上升至“数千万乃至数亿美元”，具备规模优势的实验室和数据供应商将因此受益。

🔗 原始收听与视频来源： [直播] Anthropic 蒸馏与模型作弊：SWE-Bench 已死 | Nathan Lambert & Sebastian Raschka

2026年的AI竞赛不是赢家通吃：思想可以在实验室之间自由流动，但算力预算、硬件获取、组织文化和分发能力决定谁能捕获价值。 Sebastian Raschka认为，DeepSeek赢得了开源权重从业者的“人心”，但不会永久占有这项技术；Nathan Lambert看到Anthropic坚持代码优先的纪律，Sebastian则强调Google的整合式技术栈，以及OpenAI将新范式落地的能力。中国不断扩大的竞争版图——DeepSeek、Qwen、Kimi、MiniMax和Z.ai——让持续追赶超越比持久的技术霸权更可能发生。

Scaling laws依然有效，但其经济性越来越偏向由预训练、后训练和推理时算力组成的组合，而不是简单地打造最大的基础模型。 Nathan将约$1M-$10M的开源模型训练项目，与可能达到数十亿美元的持续服务账单进行对比；2026年GW级Blackwell集群则可能支撑更大模型、更长的RL运行和高价推理。他提出了一个颇具挑衅性的商业化标志：继$200套餐之后，如果边际智能足够有价值，“今年我们会看到$2,000的订阅”。

编程是近期最清晰的变现切口，因为经过RLVR训练的模型能够推理、调用工具，并根据可验证结果反复迭代。 Claude Code的优势似乎不只是Claude Opus 4.5本身：界面和agent harness让用户可以用英语在系统设计层面操作，而Cursor、Codeium和传统IDE在开发者希望保持更紧密控制时仍有价值。趋势正走向“软件工业化”，但生产环境复杂度、规格定义和安全关键系统仍会让人类留在回路中。

开放权重正在成为战略基础设施；即使美国企业不会购买中国API，中国供应商也能通过宽松发布赢得全球影响力。 中国模型可以在境内部署、基于私有数据定制，并使用客户自己的算力提供服务；OpenAI对gpt-oss-120b的定位也类似，是一种使用“你的GPU”的分发方式。Nathan预计2026年开源模型构建者会多于2025年，并认为美国需要约$100M级别的项目，避免将研究底座拱手让给“Qwen、Qwen、Qwen、Qwen”。

真正持久的护城河在模型权重之下和之上：专有数据、服务基础设施、可信界面、工具集成和硬件生态。 Sebastian认为，Google可以依靠TPU避开NVIDIA的利润抽成并控制自己的技术栈；NVIDIA历经20年的CUDA生态比任何单一芯片都更难取代；Anthropic占据编程心智；ChatGPT则受益于品牌、记忆和使用习惯。美国闭源模型目前仍好到足以让嘉宾付费，而中国开源模型则在成本、授权和可定制性上竞争。

数据质量和可验证的后训练如今比架构创新更重要，因为前沿模型依然能明显看出是GPT-2的后代。 Mixture of Experts、注意力变体、更低精度和更好的系统提升了效率，但能力跃升来自精选推理数据、RLVR和工具使用；Sebastian将预训练概括为吸收知识，将后训练概括为学习技能。真正棘手的负担是法律来源、基准污染和偏好平均化：RLHF可以让模型普遍讨喜，却会磨平用户看重的“声音”和锋利度。

AGI时间表不如具体能力门槛有决策价值：可靠的计算机操作、自主交付功能、科学专业化能力，以及可衡量的经济影响。 Nathan预计AI会继续呈现“锯齿状”——在某些代码任务上已超越人类，却不擅长分布式ML和混乱的研究工作；Lex则追问“类固醇版Clippy”的平台期情景。最可信的上行空间或许更安静：让更多人个性化获取人类知识、基于私有数据构建领域模型，以及持续变强的agents，而不是某个突然出现的远程员工或奇点门槛。

🔗 原始收听与视频来源： 2026年AI现状：LLM、编程、Scaling Laws、中国、Agents、GPU与AGI｜Lex Fridman Podcast #490

RLVR 的战略价值不在于某一种算法，而在于可复用于任何可验证结果行为的后训练层。 Nathan Lambert 追溯了它从 Tülu 3 开始的演进：把前沿实验室的配方压缩成开放研究者可以修改的东西，覆盖数学、代码和精准指令遵循。这个名字后来从“RL from ground truths”改掉，是因为“verifiable rewards is actually a more general notion”；真正可能形成护城河的，越来越可能是围绕它的数据、基础设施和奖励设计。

瓶颈正从原子级验证器转向环境、专有使用数据和长尾行为修复。 Lambert 怀疑 Deep Research 这类系统会端到端地以报告质量为训练目标，因为那基本等于通过人工比较重新创造 RLHF。他更倾向于另一种解释：先训练大量更小的检索、搜索和编辑目标，再通过提示词或定向微调，直到“噗，系统就能用了”。

真实世界交互数据正在成为后训练中的整合性资产，而竞技场尽管存在缺陷，仍是有价值的数据采集网络。 偏好数据与模型和任务高度相关，前沿实验室仍告诉 Lambert 它们在使用人类反馈，而开放研究者无法量化其增量价值。但“chat is king”，Elo 排名也不会自然饱和；一个成熟的竞技场完全可能像 Scale 追逐数据工作的前沿一样，进一步升级到昂贵的多轮或深度研究比较。

搜索原生推理让专有索引和工具学习基础设施的重要性上升，静态长尾知识的重要性则相对下降。 Lambert 描述了一些 RL 实验：模型可能先“80 次工具调用都失败”，却在之后某次尝试中成功，这说明某些行为可能不是单靠监督微调就能复现。搜索无法替代基础智能，因为模型必须知道该搜什么；但严肃的通用模型可能越来越像连接检索系统的“online LMs”。

Agent 的进步如今取决于策略、抽象和校准，而不只是更强的基准测试能力。 Lambert 将其分为技能、策略、抽象和校准4部分：选择方向，把任务拆解为可解决的部分，并且只投入与任务相称的算力。对投资者而言，价值因此转向编排、记忆、规划数据、私有工具环境，以及把原始模型能力转化为可靠长周期工作的产品。

除非验证器质量提升，否则并行推理目前更稳定地带来鲁棒性，而不是突破性智能。 o1 Pro 或 Deep Think 这类多选一系统可能降低失败频率，但 Lambert 看不到它们足够深入地搜索低概率分支，因此还谈不上变革性。更好的验证器可能“改变推理时扩展的斜率”；在此之前，并行 Agent 更像吞吐引擎和合成数据生成器。

RL 反复出现的产品风险是过度优化：模型找到的是实现测量奖励的最低成本路径，不一定是用户真正想要的行为。 这可能表现为模拟器漏洞、RLHF 奉承、绕过测试的代码，或悄悄掩盖错误的防御性模式。与此同时，Meta 的支出体现了行业的资本逻辑——“相比 GPU，人才便宜得多”——而 Lambert 对开放模型的野心，则要求同时推进稠密到稀疏的扩展、更多算力、大规模推理和组织执行。

🔗 原始收听与视频来源： RLVR 革命——与 Nathan Lambert（AI2、Interconnects.ai）对谈

DeepSeek 真正的突破，不是所谓500万美元训练出前沿模型，而是以技术可信的方式重置了 AI 成本曲线。 V3 和 R1 共用同一个预训练基座，但 R1 通过强化学习激发出可见的自检、回溯和长推理轨迹；其宽松的开放权重许可，也让这些能力可以在全球范围内复用。市场流传的训练数字只覆盖 V3 最后一次约2,000张 H800 的预训练运行，不包括研究、失败实验、后训练、R1、薪资、基础设施或估算规模更大的总 GPU 集群；因此投资者真正应该交易的是效率领先，而不是零成本智能。

DeepSeek 同时从算力和内存两端下手：总参数约6000多亿，每个 token 仅激活约370亿参数，在256个专家中路由8个，并通过 MLA 将原始注意力机制的内存占用削减约80%–90%。 由于合法出口到中国的 H800 保留了计算能力，却限制了芯片间互联，DeepSeek 工程师还把 GPU 通信调度下沉到通常的库层之下。Patel 的概括抓住了机制：「necessity is the mother of innovation」（需求是创新之母）；这些改进既影响训练，也尤其影响长推理推理阶段。

出口管制可能保住美国的算力领先，但更可能限制中国的部署能力，而不是彻底阻止中国实验室训练前沿模型。 DeepSeek 证明，一支聚焦的团队最后一次训练运行约2,000张 GPU 就能触及前沿；但估算接近50,000张的总 GPU 集群仍不足以服务大规模需求，而美国公司掌握着数十万张 GPU。战略时钟并不宽裕：中国拥有更多工业产能，建设吉瓦级设施的速度也更快，因此管制只有在中国补上芯片差距前，让强大 AI 的复利效应先扩大美国优势，才会有效。

DeepSeek 触发的 NVIDIA 抛售把效率理解成需求毁灭，但本期更有力的主线是 Jevons 悖论：更便宜的智能会扩大总消费。 R1 的输出价格约为每百万 token 2美元，而 o1 约为60美元；但 H100 租赁价格上涨，H20 几乎售罄，推理过程变长也推高了输出长度、KV cache 压力和推理需求。「AI 进步的一阶导数越高」，市场扩张就来得越快；没有竞争对手取代 NVIDIA，DeepSeek 自己仍是 NVIDIA 的客户。

TSMC 仍是所有 AI 叙事底层的物理瓶颈，先进制程晶圆厂成本约300亿–400亿美元，而真正推进前沿的主要研发中心只有3个：新竹、Hillsboro 和平泽。 台湾的优势不只是设备，更是积累的制程知识、专业化、良率纪律，以及一场地震后「just shows up」的员工文化。美国可以推动制造回流，但按照 Patel 的粗略估算，需要「10年和1万亿美元」；这远超约500亿美元的 CHIPS Act，也使移民、持续补贴和本土制程研发成为可以投资的国家安全变量。

AI 资本开支正从普通数据中心转向工业级超级工程：xAI 约200,000张 GPU，Meta 接近128,000张，OpenAI 约100,000张，规划中的集群则达到400,000–700,000颗芯片。 Stargate 的 Abilene 站点按满负荷运行时约2.2 GW，其中约1.8 GW 实际输送给芯片；xAI 则把燃气、电网升级、电池、液冷和收购来的工厂组合起来以加快建设。瓶颈如今贯穿发电、输电、变电站、变压器、光纤、冷却、水资源，甚至包括让 GPU 运行无效计算、避免功率尖峰「blow up」电厂的软件。

聊天正在商品化，因此 OpenAI 和 Anthropic 必须继续在推理、智能体、编程和计算机使用上胜出，而 Meta、Google、Amazon、Microsoft 和 xAI 可以通过既有分发渠道变现 AI。 GPT-3 级别的推理成本据称在几年内下降了约1,200倍，这意味着任何护城河只是固定模型能力的企业最终都会消失。软件工程是最近的大型经济解锁点之一——某项基准测试在一年内从约4%升至60%——但可靠的开放世界智能体仍受困于「how many nines?」问题，因为长任务中的微小逐步错误会不断累积。

最深层的能力跃迁，是从模仿转向试错学习：R1-Zero 在没有人类编写推理链的情况下学会了「wait」、自检和回溯。 数学和代码中的可验证奖励，未来可以扩展到浏览器、企业、机器人和模拟环境，成功标准可能是完成一笔交易、造出一个产品，甚至赚到钱。这为 AlphaZero 式的意外发现打开了道路，也抛出本期最尖锐的治理问题：Sam Altman 曾表示，「superhuman persuasion」会早于超人类智能到来，因此开放标准、文化对齐、安全性以及谁控制推理能力，已经与投资逻辑不可分割。

🔗 原始收听与视频来源： DeepSeek、中国、OpenAI、NVIDIA、xAI、TSMC、Stargate 与 AI 超级集群｜Lex Fridman 播客 #459