开源模型能否跟上 OpenAI 和 Anthropic？｜Nathan Lambert

摘要

• Nathan Lambert 的核心框架是，模型进步归结为算力、数据和人才这3种资本；中国算力短缺，但人才储备与美国相当。 他认为，视AI起步时人才分布在哪些地方而定，中国的人才或许略逊一筹。他举例说，如果告诉一位中国顶尖预训练研究员，“OpenAI 一名普通研究员随时能调用相当于5,000张 H100 的算力”，对方会“惊掉下巴”。蒸馏可以部分弥补算力不足，因为“语言模型的输出是算力的函数”——蒸馏能以此换来近似算力的效果。
• Lambert 根据文献估计，蒸馏能让中国实验室领先几个月，但它在当下以RL为主的后训练中究竟有多大作用，仍难以判断。 他的依据是，开源后训练方案还“卡在使用一款非常过时的 Qwen 模型”，因为找到合适的教师模型并不容易；他也怀疑，即便有 Claude Opus 的推理轨迹，OLMo 也不会因此好上太多。他说，中国有20–30家公司在开发优秀模型，因此“只有我们会做模型”这种说法“多少是在自我安慰”。
• 他反对政府介入蒸馏，但支持实验室自行决定如何保护产品。 他质疑政府是否该介入自己所说的服务条款违规行为；实验室可以取消访问权限，而把模型限制在产品或企业协议内，也会让蒸馏更难。Jensen Huang 的一句话概括了这一段：“每天都有人蒸馏我的产品……这就叫竞争。”Lambert 认为，中国实验室“不会停手”，政府出手可能弊大于利。
• 开源模型经济的发展速度慢于闭源实验室，但最终可能带来真正的所有权——“模型权重，没有条款和条件”，还能在自己的硬件上运行。 闭源实验室把推理整合在一起，率先进入编程等高价值市场；这块收入已经从零增长到1,000亿美元，而且很可能继续扩大。开源生态则由模型开发者、推理公司和后训练公司共同构成，客户信息和收入不容易回流到模型开发者手中。Lambert“没那么担心这会有泡沫”：随着买家摸清完成任务所需的最低成本模型，开源模型有望扩大份额。
• 在较难验证的领域，前沿进步很大程度上来自高质量数据和环境，而不只是“突然就泛化了”。 Lambert 认为两方面因素可能都有，但很大一部分归根结底是数据。他对环境研究预算的规模感到咋舌，但也指出实验室愿意买，是因为模型确实因此变强。这场淘金热也催生了数据供应链下游的偷工减料和奖励作弊。一个值得关注的投资细节是：中国公司可能买下一个RL环境，6个月后才投入使用。
• 根据现有证据，Lambert 对快速起飞持怀疑态度：“所有 scaling law 都意味着算力指数级增长，性能才线性增长。” 他援引 Claude system cards 的说法，大意是还要再进步“10倍”，才可能形成快速起飞。他真正担心的是能力曲线不断上升，而公共网络安全方面的准备“几乎为零”——“不担心快速起飞，不等于不担心风险。”
• 他新成立的非营利机构 Trillium 将开发开源环境，并公开研究和模型使用过程——任务、配置、轨迹和失败案例——让RSI不再神秘。 这个名字本身就是理念：Trillium 是一种“春季短暂花”，能在树冠长成前开花，并帮助养分扩散。Lambert 希望为这个行业建立开放基础设施；在这个行业里，“计算机科学研究的收益，大约10年后会流向科技行业”，而研究人员创办初创公司后，“5个月内就可能拿到九位数回报”。
• 进入门槛没有舆论说得那么高：“做出一款有影响力的模型，不需要100亿美元”；前沿实验室的想法也能“一顿啤酒的工夫”传开（SSI似乎是个例外）。 Lambert 认为，闭源实验室持久的优势在于提供“每瓦成本最低的智能”。他提出一个假设性降价情景：价格每8个月降至一半，届时究竟会因 Jevons 悖论而提高利润率，还是市场被需求填满？关键仍在于，编程是否是主要的盈利市场——这会让前沿整合占优；还是所有知识工作都能成为市场——毕竟“他们不可能什么都做”。

精读

1. 模型进步是资本配置问题，真正难的是组织架构

• Lambert 开篇提出的框架是，模型进步取决于“投入模型的不同形式的资本，也就是算力、数据和人才”，而实验室之间的差异，体现在各自组织这些资源的能力上。“搭好一套真正适合做模型的组织架构非常难”，所以公司才会自下而上彻底重组；Meta 已经“彻底重置”，如今又回到正向轨道。
• 对想做真正前沿研究的人，他给出的首选是 Anthropic 或 OpenAI——“最稳妥的选择”；Meta、Google 和 SpaceX AI 则很难从外部判断。两家领跑者的文化不同：OpenAI 引爆了推理革命，“那张展示推理 scaling law 的漂亮图，简直是 OpenAI 的巅峰”；Anthropic 长期押注编程，最终迎来“Claude Code 的爆发”。
• 两者的共同点，是愿意“花惊人的钱，朝着人们认为不可能的方向迈出一步”——追求“真正的RSI……如果你先做到了，公司就能永远凭最好的模型胜出”。

2. 中国开源模型是一种分发策略，不是利他主义，也不是国家政策

• Lambert 的解释很直接：如果 Moonshot AI 或 Zhipu 从中国直接卖API，“没人会知道他们是谁”。发布开源模型是“绕过这道门槛、进入讨论的一种方式”，是“非常务实的选择”，而非政府指令。他强调，政府介入并非原因：“他们只是想做一家初创公司。”
• 他预测，市场会分出层次：最好的闭源模型赚取最高利润率；而“落后一步的近前沿模型”则会开源，去触达另一类可能利润较低的市场，比如涉及私有企业数据的场景。数据经济本身也会推动快速跟进：OpenAI 和 Anthropic 出资支持数据供应商，而供应商“一年后可能就会把数据卖给所有人”。
• 一个值得留意的判断变化是：“我两年前就觉得这会发生，结果开源模型公司存活的时间比我预想的长得多。”如今，行业整合和并购才刚刚开始。

3. 蒸馏：确实存在、情况复杂，影响也没夸张说法那么大

• 算力差距是讨论的背景：中国拥有相当的人才储备，“受过高水平训练的人很多”；不过，视AI真正起步时人才分布在哪些地方而定，中国或许略逊一筹。那则“5,000张 H100 等效算力”的轶事揭示了算力鸿沟；蒸馏“能让你实际上多花钱，换来等效算力”。
• Lambert 基于文献提出的质疑是，SFT时代的蒸馏——让最好的模型生成补全结果，再用这些结果训练；他和 Hannah 在 AI2 还说过，“提示词是后训练的关键单元”——并不能直接套用到以RL为主的推理训练中。完全开放的训练方案还在用“一款非常过时的 Qwen 模型”，因为找到合适的教师模型很难；他的假设是，常见开源预训练数据可能存在某种问题，让这件事变得困难。他也怀疑，即便使用 Claude Opus 的推理轨迹，OLMo 也不会“好上太多”。
• 不过，他也指出一些确实存在的疑点，“让我多少支持实验室一边”：中国的 Claude 代理账户通过中间账户消耗大量 token；“甚至有 Kimi 在面向用户的产品里提供 Claude 服务”的案例；还有中国团队在从思考 token API 窃取推理轨迹方面，走在AI安全社区前面。他的结论是，“误差范围非常大”；他给出的“几个月”估计来自科学文献。
• 在政策问题上，他赞同 Jensen 那句“这就叫竞争”（“That’s called competition.”）。Lambert 质疑政府是否该介入他所说的服务条款违规行为，并指出实验室可以取消访问权限。如果实验室想保护模型，把模型放进产品或企业协议里会让蒸馏更难；只要推理模型仍通过API公开思考 token，他说，这类蒸馏就无从阻止。他认为政府行动会“弊大于利”，因为中国实验室“不会停手”。

4. 两套飞轮、不同节奏：闭源整合与开源所有权

• Lisha Li 为前沿实验室提出了最有力的论据：算力园区—收入—融资飞轮“前所未有”，但受芯片和电力限制，瓶颈会持续到2028年；任何威胁这一飞轮的因素，包括蒸馏带来的追赶，都会危及IPO路径。Lambert 认同，IPO若表现糟糕，“现实地说，对整个AI行业都不好”。
• Lambert 给出的另一套结构是，闭源实验室已经完成整合：推理效率高、能够规模化提供服务，并率先进入编程等高价值市场，“那里的收入已经从零增长到1,000亿美元”。开源生态则分散在模型开发者、推理公司和后训练公司之间，客户信号“不太容易直接回流到模型开发者那里”。
• 但开源最终可能带来更牢固的客户关系：掌握“根本不能通过API发送出去”数据的企业，最终会建立与收入挂钩的内部评测，再研究微调，或转向 Thinking Machines、Prime Intellect。最终，他们拥有“真正的所有权：模型权重、没有条款和条件，还能在自己的硬件上运行”。这条路“要花的时间长得多”，也正是他“没那么担心这会有泡沫”的原因。他仍然保留判断：“我真不知道最后会怎样。现在下结论还太早。”

5. “突然就泛化了”不是全部：买来的数据与环境淘金热

• Li 提到，机器人能力可能在几乎没有投入的情况下涌现；Lambert 回应说，实验室在6到8个月前就开始招人、购买机器人数据。Li 还提出另一种解释，涉及计算机使用、空间推理和 Blender 演示，因此这个例子尚无定论。Lambert 更广泛的看法是，在较难验证的领域，很多进步来自购买高质量数据，并给模型提供可行动、可逐步优化的环境。实验室可能会把进步说成“泛化、魔法、啪一下就出现”，但他认为“可能两方面都有”，而且很大一部分进步归根结底来自数据，具体到各个行业也各有不同。
• 环境市场确实存在，但问题不少：看到环境研究预算动辄数十亿美元时，他承认“我还是有点不愿相信这是真的”，但实验室愿意买，是因为“模型确实因此变强”。供应商“大批量采购，再摸索哪些有效”；过程中会有人偷工减料，比如测试文件其实是空的，模型于是决定“那我也得想办法拿到高奖励”；奖励作弊就是“这条供应链下游的产物”。数据公司花钱“搭建环境、创造收入”，实验室却要耗费研究员时间来解决奖励作弊问题——“这两方总得想办法合作起来”。
• 信息安全方面的问题已经很具体：海外承包商“根本不知道自己正在出售数据”，然后“直接上传到 GitHub”。Lambert 提出的价格案例只是一个假设，不是预测：如果更大模型的价格连续3年每8个月降至一半，他粗略估算，4年后成本会降到原来的约1%。这就引出一个问题：Jevons 悖论能否保住利润率，还是市场会被需求填满？

6. Trillium：开放研究的“春季短命花”理论

• 这个实验室的核心产品将是“对任务极具杠杆效应的开源环境”。思路借鉴了他指导 Hamish Iveson 开展的 T-MaX 终端任务研究；Iveson 是 UW 和 AI2 的学生。项目使用全合成数据：由前沿模型生成问题，通过多样化提示词增加题目差异，再让模型进行 rollout，以发现漏洞、剔除低质量样本。“这个过程并不神秘。你逐条检查数据，数据自然会变好。”整个过程花费数千或数万美元，但很少有机构愿意把环境做好并发布出来，“因为逐利动机太强”。他曾对作者开玩笑说：“这份数据大概能卖100万美元，然后再把论文发出来。”
• 这个名字承载了它的理念：Trillium 会在树冠长出叶片之前开花，并在植物生长周期中传播养分。背后的经济逻辑是：“所有计算机科学研究的收益，大约10年后都会流向科技行业。”另一种选择则是“和朋友创办初创公司后，5个月内就让生意拿到九位数回报”。
• 他以亲身经历讲述了一种新的开放社区病症：AI agent 如今会在 GitHub 上提交“最离谱的 issue”，还带着“捏造的研究结果”；但想进入AI领域，仍然得先花“几周时间阅读、什么都不懂”，再手写几个月代码，然后等上“6到18个月才有人注意到”。“AI agent 把这些都搅乱了。”

7. 揭开RSI的神秘面纱：连前沿研究人员也担心自己的工作被自动化

• 这件事牵涉真实的情绪：Lambert 最好的几位朋友——“业内最优秀的人之一”——会对他说：“Nathan，我很挣扎。我该怎么办？”他的回答是：“RSI 被蒙上了太多神秘色彩。”因此 Trillium 会分享其用于SFT和中期训练的开源技术栈，包括 SkyRL、Miles 等工具，以及任务、配置、算力和存储的轨迹数据。团队希望记录实验室长期以来做了什么，每6个月回头检查一次变化。
• 公开过程也能让政策制定者看清发生了什么：“这是 Nathan 要求模型做的事，这是模型卡住的地方……这是它在代码里埋下的 bug。”并非只有他们在做这件事：一个由学术机构组成、Lambert 并未参与的团体 OpenRSI 上周刚刚成立；他认为，“有不同的尝试是好事”。
• 他对真正能够递归改进的范围也有自己的判断：模型会“非常擅长降低服务成本”——企业有数十亿美元押在这件事上，而模型也确实擅长；但“你不会对 Claude 说‘让你自己做出更好的 PowerPoint’”。知识工作需要环境或其他数据，进展“还要花上一段时间”。

8. 预训练门槛不高，后训练仍是西部荒野

• 针对“资本构成护城河”的说法，他认为：“做出一款扎实的预训练模型，成本并没有高到天文数字……不必花10亿美元才能做出很好的基础模型。”粗略来说，“用互联网数据训练就行”；技术路径并不难进入，新团队 fork Megatron 后往往也不会把改进贡献回上游——一些知名开源模型实验室也这么做过。因此他“不会看空新进入者”；真正困难的是做出第一款足够好的模型，让下一轮融资有理由成立。Thinking Machines 发布首款模型时，把定位说得很坦诚：“这不是最好的模型。我们为它感到自豪；它有一些很酷的地方。”后来他们又发布了第二款模型，也推出了 Tinker。Lambert 说，他们“已经起步了”。他还提到传闻称 Meta 会再发一款开放权重模型；“Mark 在 Llama 3 时写了最好的博客文章”，但“那家伙后来有点分心了。看起来他正在回到正轨”。
• 后训练恰恰相反：中期训练、RL和行为塑造组成的迭代流程“比预训练复杂得多……还是一片西部荒野”。Lambert 在 AI2 时觉得，他们的后训练正在落后，因为迭代周期不够快；机会也在这里：“在开源领域，要让前沿水平大幅、持续提升，不需要那么多资本，因为起点很低。”

9. Harness、群体协作，以及一顿啤酒就能传开的秘密

• Lambert 修正了自己原先的判断：他以为闭源实验室会像 Apple，围绕 harness 设计模型、整合规模经济；但用户需要多样化 harness，这种需求“迫使”所有人转向能在各种场景下运行的模型。最终市场“相当平衡，或者说达到了均衡”。Agent 群体协作也会经历类似周期——他一时想不起准确说法，称它不是 harness，而是“一种协调系统”：先由 OpenAI 和 Anthropic 推出，等模式成形后，开源模型再跟进。他认为 Thinking Machines Lab 不会率先做出这类产品，部分原因是算力不足。
• 秘密之所以留不住，是因为“硅谷以一顿啤酒的工夫就能传开一个想法”闻名——业内很多人是科学家，愿意告诉朋友。对话中有人提到 SSI，似乎是个例外。实验室真正能竞争的优势是“以每瓦算力、每个评测分数衡量，提供成本最低的智能”。双方讨论的开放问题是：如果只有编程能赚钱，前沿实验室的整合优势就更大；如果市场覆盖所有知识工作，“他们不可能什么都做”。Li 认为市场会有很多赢家，这也是 a16z 同时投资前沿实验室和初创公司的原因。
• 对快速起飞的怀疑，以及可能改变他看法的条件：scaling law 意味着“算力必须指数级增长，性能才线性增长”；数学“或许是最适合这种智能形态的科学领域”。Lambert 转述 Claude system cards 的说法：大概要再进步“10倍”，才可能形成快速起飞。如果AI发现某种与 Transformer 截然不同、能解锁新型智能的东西，“就值得据此更新判断”。在那之前，社会面临的落差是能力持续进步，而公共网络安全方面的准备“几乎为零”。“不担心快速起飞，不等于不担心风险。”