当 AI 发现下一个 Transformer——Robert Lange

摘要

• Sakana 的 ShinkaEvolve 让 LLM 驱动的程序搜索成本显著下降：它在不到 200 次 LLM 交互内找到了当前最优的圆打包解，而可比系统可能要采样约 1,000 个程序。 它通过补丁、完整重写和交叉组合不断进化程序档案，同时由 UCB 风格路由器在前沿模型之间分配任务。这意味着，效率提升可以让更多人参与发现，也能支持规模大得多的搜索。

• 核心约束是“问题本身的问题”：今天的系统优化的是人类提供的评估器，但重大创新可能要求“先发明一个不同的问题”。 Robert Lange 的圆打包代理问题允许极小重叠，再缩小半径得到精确解；改用精确约束重新运行则耗时更长。真正开放式的科学因此要求问题与解共同进化，并配套自动验证，而不只是针对固定评分函数做更好的优化。

• 起始条件在高效收敛与真正的新颖性之间设下一道硬约束。 已经优化过的种子往往会把 ShinkaEvolve 困在局部最优，而“贫化解”能为多样性留下更多空间，却需要更长、可能按月甚至按年计算的搜索。Tim Scarfe 提出的突破口是大规模并行：启动数千个不同种子的搜索，让它们在元进化循环中偶尔交换发现。

• 产品界面可能从单线程聊天助手转向隔夜运行的“凭感觉优化”和“凭感觉研究”（vibe optimization and vibe researching）。 Lange 想象研究人员白天“像牧羊人一样”引导系统，第二天早上回来查看多组实验、积累的证据和新提出的分支。验证仍是瓶颈资源，因为生成大量解比真正严格验证它们容易得多，奖励劫持和虚假发现也因此成为规模化的核心风险。

• 早期结果已经超出玩具基准：ShinkaEvolve 改进了一个围绕 GPT-4.1 Nano 构建的 agent，在一项 AIDE Bench 任务上产出了原本可以排名第二的 AtCoder 风格解，并在约 20 代内探索了 mixture-of-experts 的负载均衡权衡。 ARC 仍明确没有被证明：Lange 只是刚开始研究，希望先降低成本，性能提升则“有待观察”。

• AI Scientist V2 用能够根据证据调整假设的并行 agentic tree search，替代了 V1 的线性、模板化实验流水线。 系统产出的一篇论文在元审稿前就跨过了 ICLR workshop 的接收门槛，但 Lange 承认，“不是每篇论文”都接近 Nature 水平，其中一些产出就是垃圾。他的审慎判断是，自动化科学正处于“GPT-1 时刻”：人类仍需负责播种方向、重新引导、验证，并迁移真正重要的洞见。

• 真正的战略分水岭，是 AI 发现“新的 Transformer 架构或某种同等规模的东西”，随后整个领域都采用它。 Scarfe 担心 Google 等算力充裕的实验室会私有化这些发现；Lange 的回应是打造样本高效、开放可用的基础设施，利用集体智能。他预计 AI 会放大人类创造力，而不是立即消灭科学家，但模型能力、脚手架和人机接口都必须继续提升，社会也必须足够快地适应，才能保住行动主动权。

精读

1. 开放式科学必须搜索问题，而不只是答案

• Lange 介绍说，Sakana 在这场对话发生时成立还不到两年，一边致力于“为日本发展 AI”，一边推进那些在其他地方可能得不到资源的雄心勃勃的研究。作为创始研究员，他将公司的文化与 Ken Stanley 的开放式探索理念联系起来：保留不寻常的分支，因为发现往往依赖于那些最初看起来毫无用处的垫脚石。

• 对话把研究描绘成进化式树搜索：科学家穿行于大量想法和实验之间，但论文通常只呈现这棵树上的一条路径。当前的 LLM 系统拿到一个固定评估器，围绕一个预先规定的问题寻找解；这会丢掉人类研究者经常借以取得进展的隐藏分支和问题重构。

• 缺失的能力就是“问题本身的问题”。创新可能要求先发明一个中间问题、从其他领域引入一种抽象，或发现一个递归归约，再回头解决原始任务。Lange 希望问题和解在类似 PowerPlay 或 POET 的系统中共同进化，最终运行“甚至可能长达数年”。

• Scarfe 的质疑是，即便是自动课程，也继承了人类的设计偏见：仍然需要某种由人类编写的机制，决定环境如何变得更复杂。Lange 的限定性回答是，LLM 仍可能插值或外推到设计者从未预期的“未知未知”，但这种可能性是真实存在的，尚未被证明能构成通用解决方案。

2. ShinkaEvolve 将前沿模型变成进化式程序种群

• ShinkaEvolve 维护一个程序档案，抽取一个父程序和若干灵感程序，再要求 LLM 对它们打补丁、重写或组合。每个候选程序都会在评估器上执行，相关证据进入档案；大量分支并行进化，而不是沿着一段单一的顺序对话推进。

• Lange 的树形比喻是字面意义上的：每个节点都是一个程序，后续节点从选定的父节点分叉，发现可以在数据库中扩散。目标是积累互补的“垫脚石”，而不是指望某个模型一次生成完整答案；这是一种进化式替代方案，避免只能依赖足够多的随机采样，就像猴子在键盘上打字一样。

• 样本效率是这项工作的动机。相关系统可能要评估约 1,000 个程序，而 Scarfe 提到，圆打包运行在不到 200 次 LLM 交互内就实现了收敛。ShinkaEvolve 在降低 API 成本和评估器耗时的同时改进了经典结果，Sakana 还公开发布代码，让科学搜索更广泛可及。

• 这个双重命名还包含另一层含义：“Shinka”意为进化，而进化算法本身也会在运行过程中共同进化。系统不只依赖 Gemini 或其他单一供应商，而是集成前沿模型，并动态改变每次变异机会交给哪个模型。

3. 初始化通过缩小新颖性空间换取效率

• Scarfe 观察到，自主 LLM 往往按提示词走几步，随后就不再产生真正新颖的内容：它们始终“寄生于起始条件”。他的图像生成例子很能说明问题——要求系统生成瑞士湖泊、船和山，然后再问鸟在哪里；系统只是忠实地省略了人类没有想到的东西。

• Lange 在 ShinkaEvolve 中看到了同样的依赖性。高度优化的初始程序往往只能带来局部改进，几乎没有新颖性；贫化种子则打开更多进化方向。代价是时间：无约束搜索可能需要真正的开放式探索，而强归纳偏置虽然收敛高效，却会限制可发现的范围。

• 从空程序开始在技术上并非不可行，但两位都不把它视为免费方案。面对原始构件，搜索空间会爆炸，有用的学习信号也会消失。Scarfe 的方案是让大量搜索从“位于抽象栈稍高处”的不同起点开始，再让原本彼此独立的种群偶尔共享或交叉。

4. 圆打包揭示了代理问题本身也是一种发明

• 成功的圆打包谱系包含3个互补组件：圆的初始化、约束优化，以及通过加入噪声进一步挤出改进的“再加热”阶段。Lange 还观察到交叉操作：不同程序组合各自的概念，展示出积累的垫脚石如何被重新组合。

• 关键细节在于评估器。Sakana 最初允许圆之间存在极小重叠，随后略微缩小半径，在不实质改变评分的情况下恢复出精确构型。当团队在精确约束下重新运行 ShinkaEvolve 时，达到相当质量所需的时间更长——代理问题让发现更容易。

• Scarfe 将这一做法比作用松弛变量让支持向量机优化变得可处理。他的反驳很有决定性：如果适应度函数只是简单禁止交叉，今天的系统不会自行决定放松这一约束。Lange 表示认同；人类在重构问题，或在数论与线性代数等领域之间迁移视角方面，仍然强得多。

5. 语义记忆与模型路由增加结构，但没有消除权衡

• 为了超越只看奖励的搜索，每个候选程序都会被总结进一个 scratchpad，持续积累全局洞见，并为后续提示词生成元层建议。这为进化加入了语义层，但知识扩散也可能让整棵树趋同；有些问题适合共享洞见，另一些则需要保持隔离的“硬岛”。

• ARC 也呈现出同样的任务依赖性。在 ARC-AGI-1 上，确定性的程序变换可以提供干净的进化信号；而 Lange 发现，在 ARC-AGI-2 上，语义指令进化更高效。他希望未来的系统能自动选择程序表示、指令表示或混合表示。

• 模型选择使用上置信界（UCB）风格的 bandit。编码基准排名最靠前的模型，不一定就是最好的变异器；当 GPT-5 先创造一个垫脚石、Sonnet 4.5 再改进它时，功劳也很难分配。每个模型都被视为一条臂，先进行探索，再根据其改善相似父节点的历史表现获得更多机会。

• Scarfe 问道，全局 bandit 得分是否会忽略局部语境：即便另一模型总体领先，Gemini 也可能最适合某个特定程序。Lange 回应说，概率仍会分配给各模型，而且在他们的任务中没有哪个供应商明显占优；LLM 路由器当然可以设想，但如果没有有效压缩，原始程序和适应度历史很快就会耗尽上下文。

6. 多样化变异指向分支式、自我改进的软件开发

• ShinkaEvolve 用不可变标记保护 import 和评估器关键代码。如果提议的变异触碰受保护区域，系统就进入反思—拒绝循环并重新采样，从而提升鲁棒性，也在不要求模型完美遵守边界的情况下缓解部分安全问题。

• 基于补丁的变异支持精确改进，而完整重写可以跳到完全不同的垫脚石。交叉则提供两个父程序，并要求模型生成互补式合成。没有哪种算子在所有场景都胜出，但 Lange 发现算子多样性很有价值，因为它改变了搜索可以抵达的空间几何。

• 下一项工程难题，是进化整个代码仓库，而不只是单个文件。代码库可以被压平，但那会丢掉有用的层级结构；Aider 风格的仓库地图提供了抽象，同时也带来信息取舍。Scarfe 想象，未来的编码工具可以并行探索多个 Git 分支，再合并其中的发现，而不是沿着一个被接受的检查点逐步前进。

7. 研究界面将从聊天转向并行编排

• Lange 认为，今天的聊天和编码助手工作流本质上是单线程的：人类盯着变化，接受结果，再提出下一个要求。在他看来，这只是通往“凭感觉优化和凭感觉研究”的过渡界面，未来大量实验和候选解会同时推进。

• 他理想中的研究人员白天进行引导，晚上按下运行，第二天回来查看积累的证据、新假设和多个仍在推进的分支。人类会“更像船的牧羊人”，系统则负责执行实验；分析和方向判断仍由人类承担，但机械式迭代退到后台。

• Scarfe 将这一愿景延伸到非专业用户。MATLAB 或 Mathematica 要求用户精确定义问题，而发现平台可以从自然语言互动中推断兴趣，并主动展开调查。商业上，它还可能汇集数学家和其他用户的工作，识别共同结构，把原本彼此分离的搜索连接起来。

• 规模化集体发现需要的是机制设计，而不只是更好的模型。Lange 预计，围绕可用数字评分的工作可能出现经济体系或排行榜，让贡献者仍能从共享算力、想法和发现中获益。自动化 agent、人类引导和激励之间的均衡仍未解决。

8. 验证，而非生成，才是稀缺资源

• Lange 直指瓶颈：“很多时候，生成大量解比真正严格验证它们容易得多。” LLM 可以进行软检查，或在脑中大致推演堆栈跟踪，但那并不精确；奖励劫持还可能制造看起来很漂亮、却绕开预期发现路径的候选解。

• 因此，开放式科学除了搜索解，还需要问题定义和自动验证。可执行模拟器在某些领域能提供强反馈，但并非每个领域都有如此精确的评估器。Lange 希望模型最终能用代码实现验证器，或可靠地执行验证，但也承认今天还没有这种能力。

• 冻结的基础模型加上进化式脚手架，提供了一条中间路线：无需持续微调庞大的模型，也能获得推理时自适应能力。Scarfe 的概括是，ShinkaEvolve 在一棵树上创造并重新组合新的构件，在保留共享前沿模型经济优势的同时响应新颖性。

9. 3个应用展示广度，ARC 仍是一场开放押注

• 通过 ADAS——agentic system 的自动设计——ShinkaEvolve 为 AIME 风格的数学题进化出一套 agent 脚手架。它“显著”改进了廉价的 GPT-4.1 Nano，而且得到的脚手架可以迁移到其他语言模型或不同竞赛年份，说明搜索找到的可能不只是针对某个模型的提示词技巧。

• 在 AIDE Bench 上，Sakana 从现有 AI agent 生成的解出发，继续为 AtCoder 风格的启发式编程任务进化这些解。Lange 表示，组合后的系统在一项挑战中本可以排名第二，这说明 ShinkaEvolve 能够作为一名共同科学家，改进机器或人类提供的起点。

• 一项 mixture-of-experts 实验进化出了负载均衡损失函数。在约 20 代内，搜索呈现出一条由多种方案组成的凸包，而非单一赢家，揭示了模型性能与 expert 负载均衡之间的权衡。目标是探索整个权衡面，而不只是找到一个最优目标。

• ARC 仍只是一个假设。Lange 说自己“已经开始研究它”，但在收集到结果前拒绝做出强判断；他希望降低成本，也许还能改善性能。针对 Jeremy Berman 认为效率提升可能只能带来几个百分点的看法，Lange 认为更便宜的搜索可以继续扩展规模，但也直白表示：“现在，我没有任何证据证明这一点。”

10. AI Scientist V2 用自适应实验取代脚本化模仿

• AI Scientist V1 从模板实验开始，使用文献搜索和 Semantic Scholar，提出代码 diff，执行线性计划，再写成论文。如果初始想法失败，后续实验仍可能机械地继续，最终产出一篇形似论文的文本，却没有根据负面证据调整研究方向。

• V2 让 LLM 起草实验，并使用受证伪思想启发、可并行的 agentic tree search；证据会更新下一步采用的假设或实验。它取消强制性的基础模板，加入用于检查图表与图注是否对应的视觉语言模型阅读器，扩展到更多计算节点，最后仍将结果打包成论文。

• 系统产出的一篇论文在元审稿前通过了 ICLR workshop 的接收门槛。Lange 没有过度推销：“不是每篇论文”都达到 Nature 水平，其中一些产出就是垃圾。Scarfe 认为，这套系统适合用来快速搭建领域、建立初步结果，再由人类在其上继续推进，而不是让机器持续生成基础性突破。

• Lange 对更长期的判断是，这是一个“GPT-1 时刻”。更大的预算已经能在嘈杂的评审环境中偶尔产出 workshop 级贡献；未来 10 年，更好的多实验记忆、假设形成、负面结果记录能力，以及实体机器人实验室，可能进一步扩展系统能力。但目前还没有任何系统产出过可与残差连接相提并论的创新。

11. 人类判断仍居核心，但被动采用可能侵蚀这种能力

• Scarfe 认为，劳动力受到的冲击可能没有预期那么大：AI 生成文案反而增加了对修复它的写作者和编辑的需求；英国一些曾经年收入约 £60,000 的系统管理员转型为云或 DevOps 工程师后，收入增长了1倍以上。他的问题是，AI 最终会不会进化得比劳动者适应得更快。

• Lange 的回答是，关键在于技术进化与文化进化的相对速度。科学家会失去一部分任务，但围绕引导、验证和综合，新的能力维度也可能打开。AI Scientist V1 和 V2 只是转型的“ glimpses”，重大突破仍需要人类播种方向、检查结果并迁移洞见。

• 两人都警告认知依赖。Scarfe 把自动接受代码比作在强大的自动驾驶仪后面关掉自己的意识；Lange 说，当用户耗尽 token 预算、突然不知道下一步该做什么时，助手会让人感觉“几乎像毒品一样”。要让人类保持自己的推理路径，需要纪律、教育和主动实验。

• Lange 预计，人类价值观仍会与开放式系统绑定，因为训练数据、验证器、研究方向和算力预算都是由人类选择的。即使看似无关的数学日后也可能成为垫脚石，但“控制 FLOPs 数量的是我们”，也可以把搜索引向癌症研究等优先事项。

12. 决定性时刻，是 AI 的发现被整个领域采用

• Lange 指出，有3个尚未收敛的层面：底层模型能力、围绕模型搭建的脚手架，以及人类引导模型的界面。另一方面，Chris Lu 表示，研究可能沿着一条从“与 AI 一起”走向“由 AI 完成”的光谱发展，人类承担更高层级的编排与监督；未来5年、10年和20年，科学实践都将发生根本变化。

• 论文可能成为瓶颈，而不再是终点。Lange 想象，未来的科学成果可以被 agent 访问：图表可复现，代码和数据能够通过面向模型的接口查询，让 agent 自行复现、消融并扩展结果。但论文这一格式已经存在了数百年，是否会被广泛采用远未确定。

• 自动生成论文在初期反而会让同行评审更重要：投稿数量激增后，需要先由机器筛选，再由人类审查“精华中的精华”。AI 审稿人可以提供帮助，但可信验证可能要求真正重新运行实验；最终标准仍然是，某项结果能否在研究共同体中扩散，并经受住同行的检验。

• Scarfe 所说的“Rubicon 时刻”，是 AI 发现一种新的 Transformer 架构，或其他同等重要的成果，随后所有人都开始使用它。他担心的是所有权：算力充裕的组织可能垄断机器制造的发现。Lange 的回应是，让 AI Scientist 和 ShinkaEvolve 这样的系统保持开放且高效，使集体智能能够塑造正在形成的科学基础设施。