研究员
2 场深度对话收录
Nathan Lambert
前沿洞察
AI竞争范式已从盲目堆砌预训练转向“架构降本、RLVR、推理算力与服务交付”的复合战。开源创新虽重置成本曲线并释放需求，但地缘封锁正压向部署端与API分发层。在公开基准失效、蒸馏防线难辨的当下，行业核心壁垒正从参数规模彻底退守至专有数据、底层基建及高可靠私有评测体系。
观点集合
开源模型能否跟上 OpenAI 和 Anthropic？｜Nathan Lambert
Lambert称，蒸馏或让中国实验室领先数月，但在RL后训练中的作用仍不明。闭源实验室靠推理整合抢先切入编程市场，收入已从零升至1,000亿美元；开源客户信号较分散，能否凭模型所有权和私有部署吸引企业仍待观察。
查看摘要（8段）
- Nathan Lambert 的核心框架是，模型进步归结为算力、数据和人才这3种资本；中国算力短缺，但人才储备与美国相当。 他认为，视AI起步时人才分布在哪些地方而定，中国的人才或许略逊一筹。他举例说，如果告诉一位中国顶尖预训练研究员，“OpenAI 一名普通研究员随时能调用相当于5,000张 H100 的算力”，对方会“惊掉下巴”。蒸馏可以部分弥补算力不足，因为“语言模型的输出是算力的函数”——蒸馏能以此换来近似算力的效果。
- Lambert 根据文献估计，蒸馏能让中国实验室领先几个月，但它在当下以RL为主的后训练中究竟有多大作用，仍难以判断。 他的依据是，开源后训练方案还“卡在使用一款非常过时的 Qwen 模型”，因为找到合适的教师模型并不容易；他也怀疑，即便有 Claude Opus 的推理轨迹，OLMo 也不会因此好上太多。他说，中国有20–30家公司在开发优秀模型，因此“只有我们会做模型”这种说法“多少是在自我安慰”。
- 他反对政府介入蒸馏，但支持实验室自行决定如何保护产品。 他质疑政府是否该介入自己所说的服务条款违规行为；实验室可以取消访问权限，而把模型限制在产品或企业协议内，也会让蒸馏更难。Jensen Huang 的一句话概括了这一段：“每天都有人蒸馏我的产品……这就叫竞争。”Lambert 认为，中国实验室“不会停手”，政府出手可能弊大于利。
- 开源模型经济的发展速度慢于闭源实验室，但最终可能带来真正的所有权——“模型权重，没有条款和条件”，还能在自己的硬件上运行。 闭源实验室把推理整合在一起，率先进入编程等高价值市场；这块收入已经从零增长到1,000亿美元，而且很可能继续扩大。开源生态则由模型开发者、推理公司和后训练公司共同构成，客户信息和收入不容易回流到模型开发者手中。Lambert“没那么担心这会有泡沫”：随着买家摸清完成任务所需的最低成本模型，开源模型有望扩大份额。
- 在较难验证的领域，前沿进步很大程度上来自高质量数据和环境，而不只是“突然就泛化了”。 Lambert 认为两方面因素可能都有，但很大一部分归根结底是数据。他对环境研究预算的规模感到咋舌，但也指出实验室愿意买，是因为模型确实因此变强。这场淘金热也催生了数据供应链下游的偷工减料和奖励作弊。一个值得关注的投资细节是：中国公司可能买下一个RL环境，6个月后才投入使用。
- 根据现有证据，Lambert 对快速起飞持怀疑态度：“所有 scaling law 都意味着算力指数级增长，性能才线性增长。” 他援引 Claude system cards 的说法，大意是还要再进步“10倍”，才可能形成快速起飞。他真正担心的是能力曲线不断上升，而公共网络安全方面的准备“几乎为零”——“不担心快速起飞，不等于不担心风险。”
- 他新成立的非营利机构 Trillium 将开发开源环境，并公开研究和模型使用过程——任务、配置、轨迹和失败案例——让RSI不再神秘。 这个名字本身就是理念：Trillium 是一种“春季短暂花”，能在树冠长成前开花，并帮助养分扩散。Lambert 希望为这个行业建立开放基础设施；在这个行业里，“计算机科学研究的收益，大约10年后会流向科技行业”，而研究人员创办初创公司后，“5个月内就可能拿到九位数回报”。
- 进入门槛没有舆论说得那么高：“做出一款有影响力的模型，不需要100亿美元”；前沿实验室的想法也能“一顿啤酒的工夫”传开（SSI似乎是个例外）。 Lambert 认为，闭源实验室持久的优势在于提供“每瓦成本最低的智能”。他提出一个假设性降价情景：价格每8个月降至一半，届时究竟会因 Jevons 悖论而提高利润率，还是市场被需求填满？关键仍在于，编程是否是主要的盈利市场——这会让前沿整合占优；还是所有知识工作都能成为市场——毕竟“他们不可能什么都做”。
[直播] Anthropic 蒸馏与模型作弊：SWE-Bench 已死 | Nathan Lambert & Sebastian Raschka
Anthropic对蒸馏的警告，使前沿API访问成为能力控制与地缘竞争节点，但请求发生时很难区分评测和训练。蒸馏价值取决于教师与学生模型的兼容性；公开基准污染和SWE-bench Verified中59%的剩余任务无法按原题解决，正推高私有评测成本。
查看摘要（7段）
- Anthropic 对蒸馏的警告，已将前沿 API 访问变成地缘政治与能力控制问题。 Nathan Lambert 认为，受 GPU 约束的中国实验室“显然应该这么做”：购买 Claude 输出，比在内部生成可比质量的合成数据更容易；而 Anthropic 将分布式采集称为“攻击”。服务条款主要赋予供应商终止访问的权利，但如果重新加强执行，供应商可能会把最强模型留在产品内，或限制高端 API 的访问。
- 执行难点在于认识论：API 运行期间，评测与蒸馏看起来完全一样。 Sebastian Raschka 用了基本相同的循环来跑 MATH-500、一个包含12,000个样本的数学数据集，以及通过 OpenRouter 调用 DeepSeek V3.2 的书籍实验；只有在事后保存输出并用于训练，行为才会显出差别。请求量、重复程度和主题分布，可能在数万或数十万次请求时暴露采集行为，但合法基准测试会把问题运行3到5次，生产环境的聊天机器人也会产生巨大流量，由此形成令人不适的隐私权衡。
- Anthropic 的证据高度依赖时间窗口，尤其是 MiniMax 与 DeepSeek 流量之间的差距。 swyx 注意到，Opus 4.6 发布后，MiniMax 几乎将一半流量切换过去，这与 MiniMax 2.5 正在训练的判断一致；DeepSeek 约150,000次交互，可能对应另一段训练窗口。如果不知道请求发生在4周还是6个月内，Nathan 认为 Anthropic 强调 DeepSeek 部分也是一种传播策略：它是“美国人唯一知道的中国 AI 名字”。
- 蒸馏数据并非天然有价值，教师模型必须适配学生模型。 Nathan 表示，Qwen-dense 模型往往比更强的前沿系统更适合教会 Qwen 类开源模型，而 GPT-OSS 也是一个出人意料的好教师模型：“你有了这些数据，不代表它真的会让你的模型变得更好。” 实验室需要先证明 Claude 数据能够产生有效信号，再决定是否付费提取1,000亿个 token，尤其是在大模型生成速度约为每秒40个 token 的情况下。
- API 可能不如围绕 API 构建的产品构成有效护城河。 Nathan 称 API 市场“竞争惨烈”，并认为如果 Anthropic 真担心蒸馏，可能会把最强模型直接放进 Claude Code，而不向市场广泛提供；Sebastian 则反驳称，聊天机器人、OpenClaw 工作负载，以及超出订阅额度的用户，都会创造规模可观的非补贴 token 生意。swyx 认为 Anthropic 有“Apple 的感觉”，同时称 OpenAI 的领导层由于理想主义和原则，不太可能把模型锁在产品背后——尽管据报道，最近3个 GPT-5 Codex 变体都曾获得2到4周的产品独占窗口。
- SWE-bench Verified 已无法区分前沿编码模型，因为饱和度与任务缺陷共同淹没了有效信号。 分数集中在80多分，而重复运行的噪声约为0.5到1分，因此发布版本之间微小的提升“显然是胡扯”。OpenAI 后续审计发现，剩余顽固任务中有59%按原题无法解决；其中一个任务暗中要求精确使用字符串
get_annotation，使记忆原答案成为唯一可靠路径。 - 下一轮评测的成本会实质性上升，隐私性也会更强。 GPT-5 使用了更晚版本 Django 的知识，而 Gemini Flash 和 Opus 仅凭任务 ID 就能复原题目与解法，这说明公开 GitHub 基准会污染模型，即使不存在蓄意作弊。SWE-bench Pro 增加了更新的任务、私有/公开拆分、更多仓库和语言，但嘉宾预计前沿评测的成本将达到数百万美元，之后可能上升至“数千万乃至数亿美元”，具备规模优势的实验室和数据供应商将因此受益。