下一代训练范式会是什么样？

摘要

• Dwarkesh 的核心判断是：各实验室押注的研究路线——在“数千个多样化 RL 环境中”把 RLVR 扩展到“数百万个可验证任务”，从而用规模碾平样本低效、甚至让持续学习变得多余——很可能并不完整。 真正的下一次突破可能是 AI 在工作中学习，通过部署经验更新权重。
• AI 进步中被低估的约束是：可验证性还不够，一个领域还必须“可刷”（grindable），也就是能在确定性、可复现的模拟器上并行运行数千次 rollout。 这也是计算机操作明显落后于 coding 的原因，尽管前者显然可验证：“Andy Jassy 会找到你的机器人，然后把你们的屁股踢出去。”
• 企业经营、打赢官司或实现盈利交易等技能无法被容器化；外循环验证可能需要数月甚至数年的真实世界行动，因此对大多数经济价值最高的领域而言，样本效率才是决定性瓶颈。
• 他把 Dario 关于训练与服务阶段上下文长度的引述，解读为 RLVR 泛化能力并非无限强的证据。 如果短时域训练不一定能泛化到长时域，那么白领任务训练凭什么能造出一个在 2002 年拿着 1亿美元“替你创办 SpaceX”的智能体？
• 一个可交易的算力切口是：实验室 30-50% 的算力用于推理，而这些算力“目前并未在帮助模型改进方面发挥任何生产性作用”。 这是一种巨大的浪费，因为最有价值的训练信号——组织特有的隐性知识——恰恰存在于部署过程中。
• 两套候选方案是：on-policy self-distillation（OPSD），即把每次会话中的学习以密集监督蒸馏进权重，同时保留稀疏更新；以及更具推测性的“dreaming”，让模型在自建模拟器上训练，成为与预训练、RL 和推理时算力并列的第4条扩展轴。
• 2027-28 年的情景是：RLVR 先产出一个足以部署的智能体，1周级上下文配合“工作复盘”的点赞触发器，把会话蒸馏回基础模型。 随后能力会从可验证领域向相邻领域大幅扩展——“你每次与 AI 互动时，它都会更聪明……这既令人恐惧，也令人兴奋。”

精读

1. 实验室对 RLVR 的押注

• Dwarkesh 对自己正在检验的乐观情景的铺陈是：在数百万个可验证任务上训练，就能得到一个通用的问题求解智能体；数据效率不足之类的缺陷，“只要继续扩大训练规模就能直接碾过去”，就像投入足够算力后，自然语言处理中的基础研究问题都相继坍缩。
• 乐观派对其样本效率质疑的回答是：模型的样本效率只有人类的百万分之一，但训练只是一次性成本，可以摊薄到数十亿次会话中；真正重要的是单次会话内的能力，而 RL 显然正在改善这一点。
• 只要上下文窗口足够长，持续学习“可能根本没有必要”：员工上岗“6个月甚至更久”后才实现净生产力——“如果能把这6个月直接塞进上下文窗口呢？”

2. 可验证还不够，领域必须“可刷”

• 他对一个问题的解释是：为什么计算机操作明显慢于 coding，明明“我的税务申报提交成功了吗？”显然可以验证？除了多模态预训练数据薄弱这一因素，更被低估的原因是，必须有确定性、可复现的模拟器，才能从相同起点并行运行 rollout。Coding 可以让1000个智能体在相同容器中工作；“你不能让1000个智能体同时去 Amazon 试同一套结账流程……Andy Jassy 会找到你的机器人，然后把你们的屁股踢出去。”
• 克隆 Slack 和 Gmail 的确可行，但“劳动密集且无法扩展”——除非 AI 自己把这些克隆品写出来，而这同时又会成为极佳的 coding RL 目标。因此，计算机操作可能很快就会被解决，但它的迟缓揭示了“AI 进步这条河流只能慢慢凿穿的峡谷壁”。

3. 许多高价值技能无法批量刷出，Dario 暗示 RLVR 泛化存在上限

• 最棘手的领域包括企业经营、诉讼、交易和选举：它们都是无需重置、且不断变化的环境，验证“可能需要数月甚至数年的真实世界行动”，也无法通过扰动条件后的并行 rollout 重新观察。“要造一个政治能力达到 Lyndon Johnson 水平的 AI，RL 环境究竟是什么？”
• 砸下1万亿美元打造 RL 环境，最终得到一个被投放进 1948 年得州政坛后、给出的建议优于 LBJ 的智能体，这件事“仍是一个经验问题”。但 Dwarkesh 从 Dario 关于训练与服务阶段上下文长度退化的引述中读出了某种信号，并谨慎补充“也许是我过度解读了”：如果短时域 RL 不一定能泛化到长时域，白领任务训练凭什么能让 AI 像 Sam Walton 一样经营企业？

4. 信号存在于部署中，却被直接丢弃

• 算力浪费在于：实验室 30-50% 的算力用于推理，却没有为模型改进贡献任何东西；而部署恰恰会暴露最有价值的信息——“我在真实世界里通常会犯什么类型的错误？”他的比喻是：这就像一个从未被允许参加真正实习的天才研究生，只能不断学习课堂案例。
• 上下文无法替代真正的学习：不断膨胀的 KV cache 不具备可扩展性，也不是人类的工作方式——人类不会因为记忆变多就把头骨撑大；那些能以模型般的精度记住无意义音节的 savant，在抽象能力上却可能严重受限。真正的持续学习，是“把正确的直觉重新凿回权重里”。
• 但梯度更新的样本效率太低，已经上线的在线学习必须让数百万用户共享同一个目标——Cursor Tab 每天要预测 4亿次请求中的编辑接受情况；而真正的持续学习需要针对每次部署的具体性，“根本不可能被塞进某个共享训练任务”。

5. OPSD 与“dreaming”：候选方案

• 瓶颈可能不在架构：稀疏注意力、KV 压缩方案已经很多，真正的问题也许是损失函数。OPSD 来自他与 Sasha Rush 的黑板讨论：让基础模型匹配带有完整上下文的“资深教师”模型的预测，不需要外循环的可验证奖励，而每个 token 的偏差也比单个最终奖励提供密集得多的信号。
• OPSD 也比 SFT 更适合这项任务：以“完美保真”的方式回忆 transcript，本身就是错误目标；RL 式的稀疏更新——“只在绝对必要的范围内改变模型”——可以避免覆盖基础模型。他也推翻了自己此前的判断：RL 每个样本学得更少，“可能是好事，而不是坏事”。
• 更具推测性的押注是“dreaming”：让模型构建自己的模拟器并反复演练。EfficientZero 在一个从未见过的 Atari 游戏中，训练2小时后“很可能已经胜过新手人类”，但前提是每走一步真实操作，都要在脑中“玩上几十局模拟游戏”。如果有效，这会成为第4条扩展轴；不再是 /compact 所谓的“持续学习拟像”，而是直接进入 /dream，“焚烧掉海量算力”。

6. 2027-28 年的交接：部署本身成为训练任务

• 这一情景中，RLVR 真正带来的礼物，是一个“至少有能力开始获得真实世界经验”的智能体：先把它部署出去，让有效上下文延伸到完整1周的共同工作，再由一次点赞式的“工作复盘”触发通过 OPSD、dreaming 或“我们甚至还不知道的技术”把这段会话蒸馏回基础模型。
• 这个循环会不断复利：每一轮，AI 都会在与此前在线学习相邻的领域变得更强，能力范围“远远超出可验证领域”，直到改善能力的主要驱动力不再是发布前训练，而是广泛的经济部署。“你每次与 AI 互动时，它都会变得更聪明，不仅因为它从你此前的会话中学习，也因为它从与世界上所有其他用户的互动中学习。而这既令人恐惧、令人兴奋，也不同于 AI 目前的进步方式。”