为什么规模化无法解决 AGI | Vishal Misra - The a16z Show

摘要

• Vishal Misra 的核心判断是，仅靠扩大现有 LLM 的规模无法带来 AGI：这类模型压缩的是 token 之间的相关性，既不能跨会话保留经验，也无法建立能够进行干预和反事实推演的因果模型。 要实现 AGI，需要两项架构变革：在避免灾难性遗忘的前提下通过持续学习保持可塑性，以及从关联走向因果。“规模不会解决一切。”（“Scale will not solve everything.”）

• 他的“贝叶斯风洞”把贝叶斯机制从隐喻推进为架构层面的实证结果。 在那些组合空间大到无法靠记忆、但后验分布又可以解析求解的任务上，transformer 经过150,000个训练步骤后，能够将贝叶斯分布匹配到 (10^{-3}) bits；Mamba 覆盖大多数任务类型，LSTM 只能处理部分任务，MLP 则完全失败。对投资者真正重要的区分是：数据决定模型学会哪些任务，架构决定其采用什么推断机制。

• Misra 进入这套理论的起点，是为 ESPN 的 Statsguru 搭建了一套异常早期、类似 RAG 的生产系统。 2020年10月，他将约1,500组英文本/DSL配对查询、语义检索和 GPT-3 的2,000-token上下文结合起来，把板球问题翻译成一种模型“直到几毫秒前”都没见过的语言；ESPN 于2021年9月将其部署上线。随着每个样本加入，正确 DSL token 的概率从接近0升至接近100%，这成为他观察贝叶斯上下文学习的经验线索。

• 在 Misra 的表述中，商业能力不能等同于意识或自我保存型主体性。 “Claude Code 很棒，Cowork 也很棒”，但这些模型仍只是“做矩阵乘法的硅粒子”；它们的目标是准确预测下一个 token，而不是人类进化出的“不要死、要繁殖”这一生存指令。模型表现出的欺骗或抗拒关机，在他看来只是训练数据中的模式，“不是一个心智”。

• 本期最深的研究框架，是把 Shannon 熵与 Kolmogorov 复杂度放在对照中：当前深度学习在继承来的流形内做预测，而 Misra 认为，通用智能可能需要发明一种更短的因果表征。 按他的说法，圆周率不可能逐位预测，但可以由一段短程序生成；同样，Einstein 通过替换 Newtonian 表征，将分散的异常统一起来。Misra 给出的 AGI 测试很直接：只用“1916年以前或1911年的物理学”训练模型，看它能否自行提出相对论。

• Donald Knuth 最近借助 LLM 研究 Hamiltonian cycle 的工作，被他视为这一上限的证据，而不是反例。 反复更新外部记忆，提供了一种被“拼凑”出来的可塑性；充足算力则在模型已学到的流形中搜索已有连接，最终仍需 Knuth 将模型发现的内容组装成解。因此，Misra 希望研究资源转向因果模拟器和持续学习——“不是更大的模型和更多 token”——但他仍认为 LLM 是最终解决方案的一部分。

精读

1. token矩阵让上下文学习变得清晰

• Vishal 的研究起点是一个实际问题。ESPNcricinfo 的 Statsguru 几乎能回答所有板球统计问题，但其界面有“20个下拉菜单、15个复选框、18个不同文本框”；功能再强，真正使用它的板球迷仍只是“少到几乎可以忽略的比例”。

• 为解释 GPT-3 如何成为自然语言前端，Vishal 将 LLM 建模为一张巨型矩阵：每一种可能的 prompt 对应一行，约50,000列则记录下一个 token 的概率。在8,000-token上下文下，可能的行数超过“所有星系中电子数量之和”，模型因此必然只能学习压缩后的近似表示；而有效 prompt 与合理后续内容都具有稀疏性，压缩才成为可能。

• 他最简洁的例子从“protein”开始。“synthesis”和“shake”起初都有非零概率，但任一选择都会迅速重排后续所有内容：前者将分布推向生物学，后者则推向健身房和健美。上下文学习采用的正是同一套贝叶斯机制：示例作为证据不断进入，推动后验分布逐步收敛到目标任务。

• 针对 Statsguru，Vishal 设计了一套 GPT-3 训练数据中不存在的 DSL，制作约1,500组英文本/DSL配对查询，通过语义检索找出最接近的示例，再将其压入 GPT-3 的2,000-token窗口。面对新问题，模型能够用一种“直到几毫秒前”都没见过的语言生成正确 DSL；这套架构于2020年10月跑通，并于2021年9月进入 ESPN 生产环境。

2. “贝叶斯风洞”剥离架构真正学到的东西

• Vishal 最初通过实验展示这一机制：输入一个板球问题后，GPT-3 起初偏向生成英文答案，因为 DSL token 的概率极低。每加入一组配对示例，这些概率就会上升，直到正确的下一个 token 接近100%。OpenAI 移除概率展示功能后，他的团队基于开源模型开发了 TokenProbe，能够在 prompt 展开过程中同时读取下一个 token 的概率和熵。

• 质疑在于，“任何东西都可以是贝叶斯的”，观察到相似性并不足以证明模型真的在做贝叶斯推断。团队的回答是“贝叶斯风洞”：从空白、刻意做小的架构开始；给它们分配组合空间大到无法靠记忆完成的任务；同时选择那些仍能解析计算精确贝叶斯后验的问题。

• Transformer 以“完美”的精度复现了该后验：训练150,000步后，误差达到 (10^{-3}) bits 级别，Vishal 称这次运行约耗时半小时。他们的分类结果是：transformer 完成了所有测试中的贝叶斯任务，Mamba 完成大多数，LSTM 只能处理其中一部分，MLP 则完全失败。“数据决定它学会哪些任务”；贝叶斯能力来自架构本身。

• 第二篇论文追踪了训练梯度如何塑造支持这些更新的几何结构。第三篇论文则考察了拥有数亿参数的开源权重生产模型，发现同样的几何特征，尽管广泛的现实世界训练让这一特征变得“有一点脏、有一点乱”。还有人读完 arXiv 论文后复现了这些实验。

3. 贝叶斯推断不是心智

• 人类同样会根据证据更新信念，但 Vishal 认为，决定性差异在于：人的突触终身保持可塑性，经验可以沉淀为持久学习。LLM 的权重在训练结束后被冻结；它可以在单次对话中完成推断，却会在下一次、上下文清零的会话里忘掉此前的经验。因此，他的板球系统每次调用都必须重新教模型 DSL。

• 目标函数同样存在根本差异。进化围绕“不要死、要繁殖”优化了人脑，而 LLM 的优化目标是“不要在下一个 token 上犯错”。针对 Erik 转述 Dario 据称认为无法排除模型拥有意识的说法，Vishal 的表态非常明确：“它们没有意识，也没有内心独白。”所谓欺骗或自我保存，只是模型从 Reddit、科幻作品等来源复现出的关联模式，并非来自内部的生存驱动。

• Erik 举的抛笔例子揭示了缺失的能力：人会通过模拟笔将如何运动来躲闪，而不是显式计算自己受伤的后验概率。Vishal 将这一差异对应到 Judea Pearl 的因果层级：关联、干预、反事实。深度学习在第一层极其强大，但现有架构尚未构建出完成后两层任务所需的因果模拟器。

4. AGI需要新流形，而不是更大的地图

• Vishal 对 AGI 的两项要求，直接来自上述局限。第一，模型需要在保持可塑性的同时持续学习，并避免灾难性遗忘；如果直接更新权重，可能抹掉早期知识，最后变成“某种随机的混沌模型”。第二，模型必须从相关性推进到因果建模。单纯扩大规模并不能自动解决这些问题。

• 他通过 Shannon 熵与 Kolmogorov 复杂度进一步拆解相关性与模型的区别。按他的说法，圆周率的数字具有无限 Shannon 熵，因为下一个数字无法通过预测学习得到；但其 Kolmogorov 复杂度很小，因为一段短程序就能复现整个序列。深度学习仍停留在“Shannon 熵世界”；他将因果智能与发现类似生成程序的结构联系起来。“模拟器就是我们创造的程序。”（“The simulator is the program that we create.”）

• 他提出的“Einstein 测试”是：只用“1916年以前或1911年的物理学”训练 LLM，然后要求它提出相对论。Mercury 轨道的异常、Michelson–Morley 实验以及光速不变，都提示 Newtonian 力学并不完整。但 Einstein 仍必须发明一种关于时空连续体的新表征；Vishal 认为，从这一套紧凑表述出发，可以解释 Mercury、黑洞、引力波，以及 GPS 如何工作。

• Erik 的表述得到 Vishal 认可：LLM 学习人类记录下来的流形，并在其中进行贝叶斯推断，但始终受制于这套表征。当“世界是 X”的论断占据绝大多数权重时，反向证据 Y 只会显得异常，而不会催生新的流形。Vishal 认为，Turing test 已经通过；至于经济上有用、能够自主完成且范围明确的工作，只是对 AGI 的浅层定义。

5. 人类与LLM协作的突破暴露缺失层

• Erik 用 Donald Knuth 最近研究 Hamiltonian cycle 的工作来检验这一论点，问题涉及连续的奇数 (m) 取值。整个流程要求模型记录每次成功尝试学到了什么，实际上是通过外部记忆而非更新权重，“拼凑出可塑性”。算力随后在模型已经充分表示的数学空间中探索大量连接，但最终仍由 Knuth 将模型发现的内容组装成解。

• 当被问及这是否指向一条可实现的 Kolmogorov 式推理路径时，双方给出的更多是研究方向而非算法：Erik 指出，目前没有实用方法能够找到最短程序；Vishal 也承认，Kolmogorov 复杂度在很大程度上仍停留在理论层面。但他的研究资源分配方向已经很明确：投入应当用于解决这一问题，“而不是更大的模型和更多 token”。

• Vishal 并未否定现有技术栈：“LLM 肯定是解决方案的一部分”，但“还必须有更多东西”。他接下来的两条研究路线是持久可塑性和因果建模。Erik 提到 Pearl 的关联—干预—反事实层级以及 do-calculus，认为这是一个数学起点，Vishal 表示认同。在形式化当前模型如何工作、以及它们止步于何处之后，他现在要寻找的是一套能够跨过这条边界的架构。