Asimov：与 ReflectionAI 的 Misha Laskin 共建全知 RL 预言机

摘要

• Reflection AI 的核心判断是，企业级编程的瓶颈在理解，而不在生成。 Misha Laskin 表示，如今的世界大致把80%的精力放在行动上、20%放在理解上，但工程师约80%的时间都在理解系统和协作。在复杂组织中，实际测得的生产力提升“有时为负，有时几乎没有”。

• Asimov 的定位是组织级预言机，而不是又一层自动补全。 它处理横跨代码、聊天记录和项目工具的语义问题，相当于随时有一名“principal-level engineer”解释测试为何不稳定、任务为何突然慢了5倍。补上这一层上下文后，后续 agent 应会更可靠；行动部分“基本已经解决”，但 Misha 不愿把它说得轻而易举。

• Reflection 未来的护城河，来自一条从客户问题到评测、agent 设计、后训练再到产品的紧耦合闭环。 Frontier lab 的资源分散在数百个评测上，而专注的创业公司可以从具体需求反向拆解能力，例如把一名工程师熟悉一个可能包含1亿 tokens 的代码库的时间，从数月压缩到几周。“作为创业公司，你唯一真正拥有的优势”就是专注和速度。

• 开放权重模型为新一代 frontier lab 打开了一个暂时性的经济窗口。 它们的质量超出了 Misha 的预期，而当前 RL 后训练所需算力大约只有预训练的两个数量级以下。资本需求依然很高，长期可能渐近收敛，但 Reflection 的判断是，产品收入可以为这段攀登提供资金，不必把自己交给云服务商。

• RL 首先受奖励约束，而不是算力约束。 LLM-as-judge 的奖励噪声很大，最终还会被模型“攻破”；真实标签奖励稀缺，而能够给任意任务打分的验证器本身就得是超级智能：“奖励问题……在 ASI 层面才算解决。”现有算法也缺乏细粒度的信用分配，因此产生的是“歧路式游移”的推理，而不是识别哪一步真正正确。

• Misha 预期超级智能会先呈现为棱角分明的局部能力，而不是突然出现、让所有剩余任务都变得免费的通用智能。 他有意采取激进表述：“根本不存在泛化，只有把测试分布搬进训练集。”在未来几年内，前端开发等数据生成成本较低的领域，可能出现超越人类的局部能力。蓝图或许很快就会出现，但要把它部署到各类工作中，仍是数十年的工程。

• 垂直化让依赖模型的编程产品暴露在战略风险之下。 Claude Code 说明 frontier lab 可以成功把产品与智能能力绑在一起，而实验室也比承担推理成本的创业公司更有能力补贴终端产品。因此，Misha 认为搜索、编程等“关键路径类别”的公司若不拥有 frontier intelligence，或没有深度嵌入客户工作流，就面临生死级风险；但他仍预计，下一代编程公司正在此刻被创立。

精读

1. Reflection 正从已部署的超级智能反向构建

• Misha 的道路始于理论物理：他受到 Feynman lectures 的启发，也看到物理学曾在晶体管、GPS 等技术中发挥作用。AlphaGo 让他确信，AI 正在经历类似物理学约1个世纪前的科学诞生期，于是他进入 Pieter Abbeel 的强化学习实验室。

• Reflection 的差异不在于“superintelligence”这个词，而在于方法：它不是先在隔离的研究实验室里最大化 benchmark、再寻找产品，而是“把产品与研究共同设计”。代价是初期聚焦范围更窄；前提是选择一个足够宽、能够真正逼出强大能力的“ASI-complete”类别。

• 在 Gemini，联合创始人 Ioannis Tsantéoglou 负责 Gemini 1 和1.5的 RL，Misha 与团队密切合作。他们当时得出的结论是，在 AGI——或如今目标后移后的 ASI——之前，对大语言模型扩展 RL，“实际上已经是最后所需的范式”，尽管 Misha 认为这个领域仍比大多数观察者想象的更早期。

2. Asimov 认为编程的80/20分工被倒置了

• Misha 将 Asimov 描述为“全球最好的代码研究 agent”：一个理解系统，目标是在大型代码库上实现类似深度研究的体验，让用户随时获得 principal-level engineer 级别的组织知识。

• 企业问题不同于创业公司的绿地开发。当没有任何工程师还能把整个系统装进脑中，知识便分散在代码仓库、聊天记录、项目管理工具和个人记忆中；此时编程 agent 带来的生产力提升就会“有时为负，有时几乎没有”，这与 Misha 从工程负责人那里听到的情况一致。

• 现有产品大致是“80%算是在行动，20%在理解”，但真实工程工作几乎正好相反。协作本身往往就是一个人向另一个人询问陌生系统，因此阻碍 agent 在组织内部智能运作的，是缺少上下文，而不是不会生成代码。

• 终点是一个“组织级全知预言机”，利用正式文档和非正式经验，回答任意复杂度的问题。解决这一层后，可靠行动会容易得多：Misha 认为 agent 的行动能力大概只占整体问题的20%，而且“基本已经解决”，但他明确拒绝称其为轻而易举。

3. 从客户问题生成评测，才是创业公司的真正切口

• 这套系统把产品基础设施与后训练能力结合起来：拥有超长上下文的小模型执行类似“神经检索”的工作，吸收大量代码库内容并推导相关信息；更高层的 agent 则负责搜索、工具调用，以及跨 Jira 等来源进行多跳决策。

• 在数千个环境上进行通用训练——Kimi 2 展示了这种路径——提供了类似预训练的 agent 基础。真正的深度来自针对产品将使用的确切工具进行训练；Misha 举 Grok 4 为例，指出经过工具训练后，它在 Humanity’s Last Exam 上有所提升，但他也质疑该 benchmark 与终端用户价值之间是否存在强相关性。

• 在大型 incumbent 内部，一名研究员可能只是数百个评测中的一员，因此资源会被摊薄。Reflection 则把客户行为转化为测试，再同步调整产品功能、agent 架构和模型训练，不再“受制于”通用第三方模型。

• 入职适应让这条闭环变得具体：一家大公司可能需要数月，才能让工程师熟悉一个包含约1亿 tokens 的代码库。Reflection 的目标是压缩到几周，并通过观察新员工实际提问时 Asimov 无法回答的原因，反推出长上下文和检索需求。

4. 组织记忆将成为类似 Git 的控制平面

• Asimov 不是为打开当前文件后随手提一个问题而设计的；如果只需等待几十秒或1分钟，完全没有必要。它的优势在于语义型查询：工程师知道症状，却不知道相关函数在哪里，也不知道解释藏在哪儿。

• Reflection 举的例子是：“我的任务运行得很慢，比平时慢了5倍，为什么？”两个团队分别提交了各自有效的 pull request，但组合起来形成类似竞态条件的问题，让所有人的任务都变慢。这是一个跨系统 bug，否则可能要消耗2、3名工程师数天时间。

• 团队共享记忆让工程师能够教会系统组织内部的语义，例如这个团队所说的“environment jobs”具体意味着什么；但它也立刻带来权限和权威问题。早期客户会先让受信任的 staff-level 或更资深工程师充当把关人，再逐步扩大参与范围。

• Sarah 指出，静态的基于角色访问控制，与随着代码库变化而演进、类似 Git 的审核机制并不相同。Misha 预计，记忆编辑会像 pull request 一样，由当前组件负责人批准：这是“GitHub plus plus”，版本化的不是代码，而是模型所需的元知识——实际上是“从零开始重新发明一个 Git”。

5. 开放权重创造了暂时性的后训练窗口

• Reflection 起初的判断是，互联网规模的预训练正在收敛到一套已知配方，从极度嘈杂的数据集中继续提取信号的边际收益不断下降。它原本预计开放权重基础模型已经足够；Misha 最新的更新是，开放 frontier 的表现好于预期。

• 当前的窗口在于，“RL flops 仍然可控”。Sarah 将差距概括为预训练的两个数量级，Misha 表示认同：聚焦型后训练仍需要大量 GPU，但创业公司有可能先做出垂直领域最强系统，而不必先为通用基础模型筹集资金。

• 这并不是一条低资本路线。Misha 预计，今天一家聚焦型公司所需算力可能仍比 frontier lab 少约1个数量级，但长期需求可能渐近收敛；战略目标是打造一家能够持续产生收入、筹集这笔资本的世代级公司，而不是被收购或依赖云服务商。

6. RL 仍受奖励约束，而不只是算力约束

• 当被问到 RL 为什么还无法吸收预训练规模的算力时，Misha 更强调问题结构，而不是算法。他曾为 Gemini 1 和1.5构建奖励模型，并认为，如果能够为任意任务提供准确奖励，即便是当下简单的方法也能提取大量能力，主要上限只会来自探索。

• 但业界并没有这样的奖励。LLM-as-judge 的评分标准只能部分奏效，“有噪声或随机性的奖励最终一定会被攻破”；真实标签来源干净却稀缺，研究人员只能寄希望于优化狭窄、可验证的任务能够泛化，或搭建混乱的合成数据流水线。

• 他的结论是绝对性的：“我们处在一个受奖励约束的世界。”如果某个神经验证器能够准确判断所有结果，它本身可能已经是超级智能；因此在他的表述中，奖励问题已经从“AGI complete”升级成了“ASI complete”。

• 算法还通过薄弱的探索和信用分配制造了第二重瓶颈。它们基本上只是“把有效的东西拿出来，让它们更频繁地发生”，却无法识别哪一步推理应该获得奖励，于是生成冗长的歧路式链条，不断探索无关分支，而不像结构化的人类思考。

7. 超级智能会先棱角分明，再走向通用

• Misha 看好 Airbnb、Amazon、Salesforce 或 Excel 的合成复制品，因为它们能把目标行为直接搬进训练集。他有意采取了激进表述——引来 Sarah 一声“Wow”——称“根本不存在泛化，只有把测试分布搬进训练集”，但也承认确实存在一定程度的真正泛化。

• 他仍相信，真正有意义的超级智能可能在未来几年内出现，但只会覆盖部分工作，而不是整个编程领域。对于前端开发这类拥有丰富互联网数据、也容易进行合成生成的领域，出现超人类水平的前端开发者是可信的；把同一配方扩展到其他领域，则取决于数据成本与回报。

• Atari、AlphaGo、Dota 5 和 AlphaStar 是他的类比：它们证明了狭窄型超级智能的蓝图，而增加算力本可以让后几个系统继续变强，只是没有经济价值。因此，研究配方可能早在每个应用都值得实施之前就已经解决。

• Sarah 认为这部分是定义问题：原本的设想是，广泛能力一旦出现，剩余能力就会“免费”到来。Misha 则预测“棱角分明的超级智能”。AMIE 已经完全饱和；Codeforces 及其他竞赛编程环境也接近顶峰，模型可能在今年内成为全球最强，但其对职场的影响仍不均衡。真正重要的门槛，是让每名工程师的生产力都提升两位数，因为“部署它本身就是一半的问题”。

8. 垂直化让依赖模型的编程创业公司面临风险

• Misha 把 Windsurf 未被收购放在更广泛的垂直化趋势中理解：ChatGPT 进入搜索是早期案例，而编程如今已成为 frontier-critical 类别。到了这些公司——基本是万亿美元级甚至更大的公司——经济学并不是真正的驱动力；垂直化更关乎如何维持 frontier research。

• Frontier lab 仍可能失败，因为收购产品并不能消除研究与用户之间的距离，也不能消除同时分心于100个方向的问题。Claude Code 是他眼中垂直化成功的例子，说明模型与产品的紧密耦合为何重要，但这并不证明每个 incumbent 都能靠收购换来用户采用。

• 创业公司的风险更直接：建立在他人智能能力之上的公司需要支付、甚至补贴供应商的利润，而 Google、Anthropic 或 OpenAI 可以更激进地补贴自己的产品。在关键类别中，要生存就必须拥有自研 frontier model，或者与客户深度整合到难以替换的程度。

9. 每个领域都需要自己的数据、奖励和部署栈

• Sarah 提出，可以把一个软件团队的代码、Slack、文档和对话录制成数据集，其潜在底价可能达到数百万美元；Misha 回应：“尤其是在具备多样性的情况下。”人类推理轨迹仍然很难在操作层面采集，因此结果验证和合成 RL 比要求专家讲述每一步思考更具扩展性。

• Misha 的机器人经历解释了其中的差异：视觉和感知奖励比语言奖励“更容易被无限钻空子”，因为语言可以被视为“世界的压缩表示”。在运动控制中，速度和身体损伤都可测量，RL 能够干净地工作；但操作任务引入了嘈杂的外部世界。远程操控之所以有吸引力，是因为人类本来就是熟练的操作员。

• 编程可以在运营层面继续扩张，因为如果语言模型能够通过函数调用与几乎任何软件交互，代码就会成为操作接口。Reflection 首先要为工程师打造最深的理解系统，再构建可供编程 agent 使用、并能延伸到产品管理、技术支持乃至销售等相邻角色的“上下文核心”，而不是在占据最初类别之前就追逐这些耀眼的邻接市场。

• Misha 预计，面向特定类别的 ASI 蓝图可能在未来几年内出现，但部署仍将是“一件数十年的事情”，需要适配各类雪花式环境，以及 Codex、Deep Research 那样的专门后训练。编程应当是推进较快的类别之一——“大约在未来十几个月内”，而不是十年——他也预计会有更多从深度切入的公司出现。