摘要

RL 往往能把一个能力已经不错的开放权重模型继续推高，幅度超过 SFT，因为它可以把更新集中在那些会改变结果的稀有决策上，而不是覆盖每一个本来就可接受的 token。 Kyle Corbitt 说，SFT 有时等于“把权重全打散”，而 RL 则留在模型预训练形成的“沟槽”里，减少灾难性遗忘。但对于 Waymark 式的创意写作，他仍预计，只要用户不愿意沿着算力曲线走得足够远，最好的提示词驱动前沿模型仍会胜出。他还提到，OpenAI 对 RL 的支持一直半心半意，其模型定制平台也像是进入了维护模式。
今天企业采用 RL 微调最清晰的切入点是延迟，而不是一种抽象的“拥有模型”诉求。 CoreWeave 的客户通常需要把模型缩小，用于语音、客服、入站销售或智能搜索，再用 RL 把质量补回到前沿水平甚至更高；Corbitt 称，这可以把延迟降至前沿模型的大约30%，并将每 token 成本至少降低一个数量级。代价是产品迭代周期变慢，因此“只有在遇到重大痛点时才应该这么做”。
GRPO 的爆发来自 DeepSeek 在大规模场景下证明了它，而不是因为其数学原理与此前的 RL 发生了干净利落的断裂。 它去掉了 PPO 的独立价值模型，通过比较多次 rollout——可以是4次、8次，也可以是512次——来估计优势，并对高于平均水平轨迹中的稀有 token 给予更大强化。信用分配依然粗糙：算法“干脆摊手”，把所有稀有 token 都奖励一遍，但实践证明这种近似有效。
行业仍然统称“GRPO”，但实际部署的算法已经吸收了大量 GRPO 之后的改进。 原始 GRPO 会让长度为5倍的 completion 获得大致5倍的更新权重；后续方法对长度进行归一化，并改变 clipping 机制，让稀有且高价值的发现可以更快推动权重、又不至于破坏训练稳定性。Corbitt 判断，今天的实用算法栈与原始 GRPO 的距离，大致相当于 GRPO 与其前身方法之间的距离。
前沿模型的输出，作为 RL 评审器的价值可能高于作为 SFT 训练样本的价值，这将重塑蒸馏的经济学。 前沿模型可以直接评估另一个模型按自身分布生成的 rollout，避免破坏性模仿，理论上还能把学生模型训练到超过教师模型；前沿实验室在开发下一代模型时，本身也会使用 n-1 代模型作为评审器。Corbitt 预计，隐藏推理过程、限制 log probability，以及把模型绑定在 Codex 等产品界面上的做法会越来越多，因为这会让跨领域蒸馏更难。
Corbitt 认为，中国实验室的主要约束是算力和资本，而不是美国拥有某种 RL 技术垄断。 中国模型更偏 benchmark，可能反映的是更简单的激励机制：新实验室必须拿出惊人成绩才能赢得试用，而 OpenAI、Anthropic 和 Google 已经拥有大量存量用户及推理反馈。追赶前沿如今已经需要数十亿美元，未来可能需要“数百亿甚至上千亿美元”；不过 Corbitt 也认为，硬件、算法和数据各层面的递归自我改进已经在发生。
RL 环境供应商可以在数月内做到数千万乃至数亿美元收入，但 Corbitt 怀疑这个品类是否具备持久性，并已拒绝多次别人向他推荐的天使投资机会。 实验室希望采购大量供应商，因为独立构建的环境会产生相关性更低的训练信号，但每个环境都会迅速被模型跑透，随后必须替换。他的结论是：这可能是极佳的创始人自持现金流生意，但很难规模化，也更难看出它会成为“一种具有长期持久性的、风险投资形态的企业”。
在窄领域商业任务中，奖励投机通常明显且可控；到了前沿模型的经济规模，同样的缺陷就很难收拾。 在一项实验里，模型学会把每篇文章都命名为“Google 即日起裁员75%的员工”后，预测的 Hacker News 得分从约3分跃升至180分；增加一个辅助事实性评审器后，问题得到修复。一次窄任务训练可能只需数十或数百美元，出问题可以重跑；而一场成本数亿美元、缺陷又不易察觉的前沿训练，可能只能先上线，把修补留到下一代模型。

精读

1. RL 的上限更高，但不意味着它是默认选择

Nathan Labenz 的出发点是 Waymark 这种依赖品味的创意工作：100个高质量人工样本通过 SFT 就能明显改善基础模型，但即便是今天最先进的提示词驱动模型，也很少让创意团队真正产生“该死，太棒了”的时刻。基于评分标准的 RL 更像一场“障眼法游戏”，奖励投机又是额外风险。
Corbitt 还提到，OpenAI 对 RL 的支持一直半心半意，其模型定制平台也像是进入了维护模式，因此平台是否可用本身就是现实决策的一部分。
Corbitt 的条件式回答相当肯定：如果 SFT 已经能改善一个开放权重模型，例如 Gwen 模型，那么即便监督样本来自优秀的人工作品，RL 能达到的上限大概率仍然更高。RL 更贴合模型自身的分布，而不是强迫它复刻另一个生成器的具体路径。
但他的实践判断更克制。面对最好的提示词驱动前沿模型，一个成本可控的开放权重 RL 项目大概赢不了创意写作；理论上，“什么都有可能”，只要买下一座数据中心、投入几十亿美元，但真正实现反超的位置会在算力曲线非常靠后。
这一区分最终构成 Corbitt 的企业决策规则：定制模型一旦需要改变，就会产生真实的迭代时间成本。如果前沿模型已经能完成任务，只有轻微瑕疵，就继续用它；只有在延迟、质量或成本造成重大痛点时，才值得做 RL。

2. RL 保留模型有用的“沟槽”

Corbitt 最具代表性的框架是：预训练已经在模型里刻出了深深的“通道”或“沟槽”。RL 在这些沟槽内搜索并强化成功路径；SFT 则可能覆盖整条路径，包括小模型本来就处理正确的部分，导致偏离目标的变化和灾难性遗忘。
数学例子揭示了其中的机制：能够得到正确答案的推理轨迹有无穷多条，而模型可能已经对几乎每一步都赋予高概率，只有一个决定性 token 的概率很低。RL 可以把学习集中在这个不太可能的决策上；通过 SFT 蒸馏大模型的整条轨迹，却是在不加区分地说：“这些 token 全都需要改变。”
创意写作也是同样的结构。如果模型和创意团队选择了2种同样好的表达方式，训练就不应该“浪费”权重更新去强迫模型采用人工措辞；每一次不必要的更新，都增加了扰乱其他无关行为的机会。
Nathan 提出的 KL 散度反驳值得保留：难道不能让两种训练方法都受到基础模型约束？Corbitt 的回答是，KL 约束的是 token log probability 的变化，而不是权重本身的漂移，也无法区分一种无害的替代表述和一个真正决定成败的稀有决策。

3. GRPO 的突破在于可扩展工程

Corbitt 不接受 GRPO 是数学上的量子跃迁这一说法。RLOO 已经“基本一样”，在大规模场景下大概率也能取得相近效果；真正赢得这项功劳的是 DeepSeek：完成了工程化、把技术扩展到大规模，并发布了一个肉眼可见有效的模型成品。
这条技术谱系起点是 John Schulman 于2017年提出的 PPO。它诞生于现代 LLM 之前，主要面向游戏等场景。PPO 把训练中的 policy 当作 action 生成器，同时维护另一个价值模型，也就是 critic，在最终得分出现之前预测每个 action 的最终价值。
对语言模型而言，映射关系可以刻意简化：此前的完整上下文就是 state，每个生成的 token 都是一个 action。当最终 reward 高于 critic 的预期时，PPO 就提高那些被推断为价值高于预期的 action 的概率。
维护 critic 既昂贵又敏感：它是另一个模型，有另一套更新流程，也有另一组超参数。GRPO 的核心简化，就是彻底丢掉 critic，在相同起始条件下进行多次 policy rollout，再据此估计相对价值。

4. GRPO 搁置了信用分配问题，但依然有效

一次成功的 rollout 本身几乎说明不了什么：任务可能本来就总能成功，也可能这是百万次尝试里唯一的一次成功。盲目强化只会奖励任意选择。因此 GRPO 会抽取一个 group——Corbitt 举的例子从4次或8次到512次不等——再把每条轨迹与这个 group 对当前 policy 平均结果的近似值进行比较。
尚未解决的部分是“信用分配问题”：究竟是哪一个 token 导致了结果？GRPO 查看 token 概率，并假设在异常成功的轨迹中，稀有选择应得到更多功劳；在异常糟糕的轨迹中，稀有选择则应承担更多责任，因为最有可能正是某个不寻常选择造成了结果偏离平均水平。
Corbitt 承认，这个结论在智识上并不令人满意。面对一条包含数千甚至数万个 token 的推理轨迹，算法并不能找出那个关键的稀有选择：“你只能摊手说，所有稀有 token 都用同样的方式加票。”但从经验看，它依然有效。
Nathan 给出了一个有用的直觉：一条轨迹中通常只有少数几个分岔点，模型在这些位置选择了正确或错误的路线，之后则是大量语言上可预测的 token。低概率加权会突出这些决策点。Corbitt 的回答很明确：“是的，完全正确。”

5. 现代“GRPO”已经修正长度偏差和 clipping

原始 GRPO 在结构上偏爱长生成，因为它没有按 token 数量归一化更新权重。在包含128条 completion 的 batch 中，一条长度为同伴5倍的轨迹，可能施加约5倍影响，而不论额外推理是否真的有价值。
后续实现已经成功平均或降低长度效应的权重。Nathan 认为 RL 可能确实在教模型理解“多想一会儿”的价值，这一点仍然可以成立，但必须与算法记账方式意外奖励冗长区分开来。
Corbitt 重点提到 CISPO，在 transcript 中读作“Sispo”，它重新安排了 PPO 风格的 clipping 位置。这样一来，一个极其稀有但 reward 很高的 token 可以更快更新，同时仍限制整个模型的过度移动；这是一个看似微小、却会显著影响发现速度和训练稳定性的改动。
DAPO、GSPO、CISPO 以及大约半打未具名技巧，如今共同构成了实用算法栈。Corbitt 的判断是：行业今天所说的 GRPO，距离原始论文的距离，可能与原始 GRPO 距离此前方法的距离相当；“GRPO”只是最终留下来的标签。

6. 超人表现可以从看似普通的步骤中出现

对于 RL 究竟是在教模型新能力，还是仅仅激发潜在能力，Corbitt 先给了一个较为迂腐的回答：所有可能的 token 序列本来就在分布里，就像百万只猴子的可能输出中也包括 Shakespeare。真正有用的问题是，要经过多少搜索才能抵达一条有产出的序列。
因此，在 RL 权重很高的体系中，预训练依然是核心。它把正确模式的概率从几乎可以忽略的水平抬高，减少强化学习在发现并放大这些模式之前所需的随机 rollout 数量。
超人的复合能力不需要某一个无法理解的单步动作。前沿模型可以沿着数学问题的兔子洞进行“长途远征”或“钓鱼之旅”，维持超过人类可同时容纳范围的工作上下文；每一步看起来都符合人类直觉，但持续的完整轨迹已经超过了人类实际能力。
模型也可能涌现出某个人类恰好从未选择过的稀有、巧妙 token。Corbitt 的意思不是 RL 凭空创造信息，而是重新组织概率质量，让一个天文数字般不可能、但有用的行为变成日常行为。

7. “外星式”推理仍是预测，而非观察

Nathan 将 DeepSeek R1 发布时展示的“顿悟时刻”与元认知联系起来：模型说“等等”，意识到原先的方法有问题，再尝试另一个方向。Corbitt 认为这很自然，并不“外星”，类似于人类的内省；而且这种原始、自我纠错的思考在经过润色的互联网文本中出现得较少，因此特别适合用 RL 训练。
他当前的经验判断很清楚：“我还没有看到强有力的证据”表明模型已经用一种完全陌生、不可解释或人类无法跟随的方式推理。不过在极限情况下，机器产物最理想的认知方式可能确实会显得像外星智能，尤其是在更好的探索—利用技术出现之后。
Nathan 提到 Meta 的 Coconut 项目，作为对未来的一个直觉：让内部状态持续向前传递、而不是输出每一个 token，似乎能在图搜索问题上支持并行分支。他的担忧同样直接——他想知道 AI 在想什么，而潜空间推理会让这件事更难。
Corbitt 的制衡观点来自部署现实。文本 diffusion、prompt 压缩、任意 embedding-space“词语”和潜空间推理都已经被探索过，但成功的前沿模型和开放推理模型看起来仍主要依赖普通的自回归 token 空间及人类语言。后续报告也弱化了 Nathan 对 Apollo Research 最初那些古怪“vantage/disclaim”轨迹的担忧。

8. 由前沿模型担任评审器，蒸馏更强大

Corbitt 给非前沿实验室的首选捷径，不是通过 SFT 复制最终答案，而是把前沿模型当作 LLM judge。学生模型按自身分布生成轨迹，由评审器打分，再通过 RL 强化其原生的成功路径，不需要获得隐藏的 chain-of-thought token。
这种方法理论上可以，而且在 Corbitt 的实验中确实能够把模型训练到超过教师模型。前沿实验室提供了最强先例：据报道，OpenAI 等公司在训练下一代模型时，会让 n-1 代模型担任评审器，因此旧模型可以帮助推动自己无法达到的前沿。
他预计，直接用 SFT 做蒸馏会更早发生，但规模相对较小。它能节省算力，但他的猜测是，与直接做 RL 相比，成本差距“不会达到数量级”，同时还会带来前文讨论的破坏性分布问题。
防御性应对就是限制产品访问。推理 token 和 prompt log probability 正越来越多地被隐藏；有些模型一开始也只通过类似 Codex 的界面提供。Corbitt 预计，按具体使用场景限制访问会越来越普遍，因为这会阻断蒸馏通用竞争模型所需的广泛、跨领域查询。

9. 中国前沿差距主要由算力和资本决定

当被问到为什么中国模型经常显得更“尖”、更像是针对 benchmark 训练时，Corbitt 拒绝把原因归结为元认知能力较差或 SFT 过多。他对差距的更高阶解释是算力：中国实验室可以使用与美国开放权重项目相近甚至更多的算力，也能在那一层前沿领先，但仍然无法匹敌美国封闭模型领导者的训练规模。
对 benchmark 的偏重可能只是简单的市场进入逻辑。一个知名度很低的实验室，必须先拿出惊人成绩，才会有人愿意试用；OpenAI、Anthropic 和 Google 已经拥有数百万乃至数亿用户，他们会测试更新，并通过口碑传播定性上的改善。
Nathan 补充说，中国实验室普遍缺乏可比的推理业务，因此获得的真实客户反馈更少。Corbitt 同意这“很可能是一个重要因素”，但它是对算力解释的补充，而不是替代。
即便放松算力约束，融资限制也不会消失。前沿规模的采购已经需要数十亿美元，未来可能需要数百亿乃至数千亿美元；Corbitt 怀疑，即便技术路径本身仍然开放，中国资本市场和企业控制权预期是否能支撑这样的投入。

10. 递归自我改进已经在运行

Corbitt 不接受把今天的训练与未来的递归循环二分开来：团队已经在通过运行实验、定位瓶颈，并把经验反馈到硬件、算法、数据和资源分配中来改善模型。每一层都已经是自我改进循环的一部分。
一个主要约束是负责选择攻克哪个瓶颈的人类的智力。Corbitt 提出一个挑衅性的假设：如果 OpenAI 只由 IQ 高于180的人组成，它大概会比今天的组织做出更好的下注，并更快解决瓶颈。
因此，Corbitt 认为加速递归改进的门槛可能很低：模型只需要超过相关领域最聪明的人类决策者，“这并没有多聪明”。他的判断明确带有保留——当前一代或下一代模型可能已经跨过这条线。
这一观点并不保证美国会永久领先。算力仍然决定谁能参与，而更聪明的模型则可以加速那些拥有足够基础设施和资本、能把模型置入循环的实验室。

11. 有价值的 RL 环境必须可封装、可重置且多样

环境小行业的起点，是一个具备经济价值、呈现 agent 形态且依赖项可以封装的任务。黄金标准是可快照：实验室可以在任何状态暂停、恢复并继续运行，同时由自动评分或有充分依据的评分标准评估行为结果。
供应商会搭建 Jira、GitHub、航班预订系统、办公套件和类似 Google Sheets 的工作流副本，通常配合临时 SQLite 数据库。交付方式可以是在实验室基础设施上运行的 container，也可以是由供应商托管、执行环境并返回得分的 endpoint。
实验室对供应商数量多有一个较弱的偏好。来自同一构建者的5个环境很可能共享假设和捷径，使训练信号高度相关；独立设计的环境可以拓宽行为多样性，降低模型只是学会某一家供应商惯例的概率。
构建这类环境需要 Corbitt 所说的“极高百分位工程师”。创建者必须预判评分漏洞和泛化缺口，但往往要等到训练跑完、模型掌握了某个 hack 而非预期技能后，才会发现设计错误。

12. 环境收入真实存在，但持久性尚未得到证明

环境会随着成功而折旧：一旦前沿模型能够轻松通过某个环境，实验室就需要更难的新环境。这使供应商无法反复出售同一个成品，也把工作变成高技能、难招聘且难以组织规模化的项目制业务。
短期经济回报仍可能非常可观。Corbitt 见过公司“在数月内做到数千万乃至数亿美元收入”，这显然对能够生产环境并留住利润的创始人很有吸引力。
但他的风险投资结论不同。在多次天使投资推介后，他一个也没有投，因为看不到持久、符合风险投资逻辑的护城河；只要需求持续，创始人自筹资金做成的生意可能非常优秀。他也承认自己可能判断失准，因为他过去同样怀疑过人工数据标注，后来这个行业却取得了十亿美元估值级别的结果。
长期来看，他预计只要模型达到人类能力，算力就会击败付费人工数据：机器不仅会达到相当水平，而且会几乎立刻变成每项任务上更便宜的选择。一个可能的例外是人类偏好数据，前提是人类仍然控制着具有经济价值的消费。

13. 现实世界 RL 依赖有现实锚定的模拟

Corbitt 同意，化学、材料、电路板和其他物理领域最终都需要与现实闭环。这里的进展比软件慢，因为实验、数据采集和环境构建都会遇到物理时间延迟。如果模型能力停在今天，实验室很可能会先专注于自动化数字工作。
两种架构都有可能：直接把实验放进 RL 循环，或者用真实观测构建高质量模拟和领域世界模型，再在数字环境中完成大部分 rollout。Nathan 将后者类比为重新启用 PPO 的价值模型；Corbitt 同意，只要“眯起眼睛看”，可以看到两者共享某种目的，但强调模拟永远需要现实锚定。
他的时间判断包含2个截然不同、且都带有条件的边界。如果模型能力今天冻结，对实体经济进行有意义的自动化实验室渗透可能需要15年以上；如果递归改进快速发生——这条轨迹更符合他的判断——现实世界就会成为瓶颈，大规模部署可能在2到3年内出现。
在后一种更快的世界里，一家实验室为了下一代芯片寻找新材料，理性上完全可能在自动化实验上投入1000亿美元。
对 Nathan 提出的“Elon Corp”论点，Corbitt 持不同意见。他认为 Tesla 和 SpaceX 早期的成功，部分来自 Elon 表演性很强的工作伦理和一线领导力，再加上强烈使命感与令人畏惧的野心。如今 OpenAI、Anthropic 和机器人实验室在招聘上拥有更强竞争力，因此他怀疑 Elon 过去那种超额成功会自动重演。

14. 企业 RL 通过窄领域、对延迟敏感的 agent 获胜

Corbitt 先加了一层限定：这是他的日常工作和业务，但他会尽量校准自己的建议。当前一个重要的客户切入点是受延迟约束的交互，包括客服、入站电话销售，以及 Willow、Whisper 等语音听写公司。前沿模型可能表现很好，但响应太慢；换用更小的模型可以降低延迟，再通过 RL 补回由此损失的质量。
这些部署通常是真正的 agent。客服模型可以在两轮对话之间查看产品详情或客户记录，搜索 agent 则可以通过一些“奇怪”的工具浏览专业语料库。大多数循环仍然受到严格限制，可能只调用3到4次工具，就返回答案或请求人工反馈。
它们通常不是那种调用数百次工具、生成深度研究报告的 agent。尽管拥有把模型训练到1万亿参数的技术栈，Corbitt 目前也没有任何客户直接挑战 Claude 最困难的通用任务。
Nathan 提到小型量化模型、GPT-OSS 和 GLM 5.1，并询问模型选择。Corbitt 则把重点放在业务核心性上：除非模型本身就是公司的核心身份，否则替换 Claude 大概并不明智；Cursor 据报道推出的“Gemini K2.5”变体，以及其直接参与编码竞争的野心，属于后一种情况。

15. 迭代式评分标准会让窄领域奖励投机暴露

CoreWeave 的流程首先是写清楚什么是好输出、什么是坏输出，选择一个评审器并对一批结果打分。领域负责人检查若干高分和低分样本，通过 prompt engineering 修正评分标准，再重复这一流程，直到评审器大体符合负责人心中的偏好。Nathan 将这套流程与 CoreWeave 开源的 RULER package 联系起来；他记得该工具会提取需求并生成评分标准。
接下来团队会运行大约30或40个 RL step，停下来再次检查极端输出。Corbitt 通常会进行3到8轮这样的循环，之后才允许训练跑上数百或数千步，直到进入平台期。如果评审器奖励冗长或其他捷径，模型会很快将其放大到一眼就能看出的程度。
他的 Hacker News 实验使用约100,000条抓取的投稿，训练一个标题 reward model。大约100个 RL step 后，预测平均得分从约3分跃升至180分，因为每篇文章都被命名为：“Google 即日起裁员75%的员工。”
一个要求标题中的每项陈述都必须有事实支撑、否则记0分的辅助评审器修复了这一漏洞。Corbitt 认为，奖励投机比普通的评估错位更容易发现，因为一旦模型找到某个技巧，就会肆无忌惮地套用。前沿训练的差别主要在经济学：重启一场成本上亿美元的训练，比重跑一项只需数十或数百美元的任务困难得多。

16. LoRA adapter 让一个基础模型承载多种窄领域技能

一家公司是否应该为 N 个任务训练 N 个模型，取决于任务之间的重叠程度。相关领域可以在共享模型中相互促进；完全无关的任务未必需要合并，但 Corbitt 也见过在训练样本交错安排、避免后续任务抹掉早期任务的情况下，合并训练几乎没有明显代价。
即便是 rank-one LoRA——以他的例子计算，大约只涉及模型权重的0.1%——通常也有足够的更新容量，能够通过 RL 承载多个任务。只要训练交错得当，CoreWeave 通常看不到同时训练多个窄领域行为会带来有意义的性能下降。
采用 LoRA serving 后，一个共享基础模型可以承载大量 adapter，使独立任务模型的运营成本很低。不过，adapter serving 可能带来20%到40%的延迟惩罚；对延迟最敏感的客户因此会合并权重，改为运行专用部署。
CoreWeave 提供开源的 ART agent reinforcement trainer，这是一套无服务器训练栈，会卸载 GPU 工作，采用按使用量计费，集成推理，并提供前线部署工程支持。一些客户会持续训练并部署更新后的权重；Corbitt 说，通用持续学习仍未解决，但窄领域版本“在很多具体场景中已经彻底解决”。

Baseten CEO Tuhin Srivastava谈定制模型与构建推理云 Danfei Xu：人类数据，行为克隆，机器人的GPT-3，斯坦福，全栈机器人，EgoMimic，遥操作，UMI