关于 Sutton 访谈的一些想法

摘要

• Dwarkesh 的头号预期是，LLM 会最先实现 AGI。 “这正是我预计会发生的事情”；但如果确实如此，它们构建的后继系统几乎肯定会基于 Richard 的构想。
• 他如今已经理解了 Sutton 论点最强版本的含义：Bitter Lesson 不是“烧算力”，而是要可扩展地使用算力。 而 LLM 没通过这项检验：大部分算力消耗在部署阶段，模型在那里什么也学不到；训练则要烧掉“数万年的人类经验”，而人类数据是“缺乏弹性且难以扩展的资源”。只从这些数据中学习，并不是一种可扩展的算力使用方式。
• 他的核心反驳是：模仿学习与 RL 并非二选一。 Ilya Sutskever 的化石燃料类比“极有穿透力”：预训练数据不可再生，但人类文明并没有因为使用这种资源而走入死胡同；没有这种廉价的中间能源，“你根本不可能从1800年的水车直接过渡到太阳能板”。
• AlphaGo/AlphaZero 是最具交易价值的先例：两者都超越人类，AlphaZero 更强。 人类数据“未必会造成实质伤害，只是在足够大的规模上，它并没有显著帮助”。从零开始自举学习最终大概率会胜出，但这并不妨碍模仿学习产出第一个 AGI，甚至第一个 ASI。
• “没有真正世界模型”的批评，实际证明力没有其声称的那么强。 RL 之后的模型拿下 IMO 金牌并构建出可运行的应用——这些都是“你不可能从零开始通过 RL 让模型完成的任务”。至于人类先验是否算作“世界模型”，只是“一场语义争论”。
• 持续学习才是真正的缺口。 结果奖励 RL 在数万个 token 上，每个 episode 提取的信号“约为1 bit”；但考虑到上下文学习已经自发出现，即便是把 SFT 硬塞成工具调用，他也不会意外于它最终复现持续学习。

精读

1. Sutton 论点的最强版本：LLM 正在浪费算力，饮用一口有限的井

• Dwarkesh 在访谈后的重构是：Bitter Lesson 要求采用“最有效、最具可扩展性地利用算力的技术”；但 LLM 的大部分算力都花在部署阶段，那里什么也学不到，训练本身则消耗了“相当于数万年人类经验”的数据。
• 即便是 RLVR，也没有完全摆脱人类数据陷阱：环境是“人类布置的游乐场”，教给模型预先规定的技能——“智能体实际上并没有通过有机且自我驱动地与世界互动来学习”。
• 世界模型质疑的核心是：LLM 建模的是“人类接下来会说什么”，而不是环境如何响应行动；一个只训练到1900年数据的 LLM，“大概不可能从零推导出相对论”。

2. 化石燃料与 AlphaGo：模仿学习是中间环节，不是死胡同

• Dwarkesh 与 Rich 的主要分歧在于，这些区分“其实并没有彼此排斥到二分对立的程度”。Ilya 关于“预训练就是化石燃料”的类比支撑了这一点：它不可再生，却“绝对关键”，帮助人类从1800年的水车走向太阳能和核聚变。
• AlphaGo（经过人类数据训练）和 AlphaZero（自举学习）都达到了超人水平；AlphaZero 更强，同时使用了更多算力。人类数据在“足够大的规模上”“并没有显著帮助”，但这和它造成伤害是两回事。对于一种“无初始化学习技术”最终是否会胜出，他的回答大概是“会”；但这不妨碍模仿学习产出第一个 AGI，甚至第一个 ASI。
• 人类自身的发展轨迹已经说明问题：语言、法律、电话技术，都经过数万年积累，“更像模仿学习，而不是从零开始的 RL”。他的比喻是：“飞机之于鸟是什么关系”，监督学习最终可能就会成为人类文化学习之于机器学习的关系。没有任何一种机器学习范式能够完美描述人类学习。

3. 模仿学习是短时域 RL，而人类先验打开了通往真值的大门

• 这种泾渭分明的区分最终会消失：模仿学习“就是短时域 RL。episode 只有一个 token 长”，奖励与预测质量成正比。
• 对于“那不是真值”的质疑——“我同意”；但真正的问题是，模仿学习是否能帮助模型从真值中学习。RL 之后的模型拿下 IMO 金牌，并能独立写出完整应用；“你不可能从零开始通过 RL 让模型完成这些任务。至少我们现在还不知道该怎么做。”
• 关于世界模型的质疑，Dwarkesh 认为，LLM 显然正在形成对世界的深层表征，只是没有专门接受“自身行动如何影响世界”的训练。至于是否应该把这称为“世界模型”，他认为“只是语义争论”。他用那句巴氏灭菌的比喻讽刺这场争论：就像对一个正在煮牛奶的人说，“嘿，别再煮那锅牛奶了，因为我们最终想冷着喝！”拒绝使用这个术语，就等于“按照我们认为构建世界模型所必需的过程来定义‘世界模型’，而不是按照这个概念所显然指向的能力来定义”。

4. 持续学习：真正的缺口，或许可以被硬塞进系统

• 这是他自觉反复谈起的老话题——“我就像一个只想出过一个好段子的喜剧演员”——但数字很有杀伤力：结果奖励 RL 在数万个 token 上，每个 episode 学到的“约为1 bit”；动物从每个 episode 结束时的奖励中提取的信息远不止这些。他说，动物通过观察来学习世界模型，外循环 RL 则激励另一个学习系统提取最大信号。在 Sutton 的 OaK 架构中，他把这称为 transition model。
• “听我的研究员朋友们说”，最直观的做法——对所有观察到的 token 做微调——“实际效果并不好”。他的候选方案是把 SFT 作为工具调用，由外循环 RL 激励模型在上下文窗口之外继续教会自己更多东西。
• 对这些技术是否有效，他保留了原本的谨慎表述：“确实持不可知态度……我不是 AI 研究员”；但如果它们最终基本复现持续学习，他“不会感到意外”。由于上下文学习正是模型处理长序列这一训练激励自发涌现的结果，他认为，只要信息能够跨越当前上下文限制，在更长的窗口之间流动，模型就可能学会同样的灵活性。

5. 反向运行进化，以及最后的预测

• 这种倒置关系是：进化通过 meta-RL 造出一个会选择性模仿的 RL 智能体；LLM 则走相反的路线——先进行纯粹模仿，“希望我们在其上进行足够多的 RL，把它变成一个拥有连贯目标和自我意识的智能体。也许这根本行不通！”
• Sutton 数十年的观察视角，能够看见范式内部难以察觉的缺口：没有持续学习，“糟糕的样本效率”，以及对“可耗尽的人类数据”的依赖。即便如此，这些基于第一性原理的论点“并不严格适用于我们今天拥有的模型”，因为后者正在大量使用“真值”进行 RL。
• 贯穿始终的判断是：即便 Sutton 所说的“柏拉图式理想”最终没有成为第一个 AGI 的路径，如果 LLM 最先实现 AGI，那么它们构建的后继系统几乎肯定会基于 Richard 的构想。