AI 如何学会说话，以及这意味着什么——Christopher Summerfield 教授

摘要

• Summerfield 的关键更新是：仅靠语言的监督学习，就能恢复足够多的现实结构，从而支撑一场智能对话，推翻了他直到 2015 年还持有的“接地”观点。 他曾认为“光靠阅读关于猫的描述，不可能知道猫是什么”，如今却称这一结果“或许是 21 世纪最惊人的科学发现”。对投资者而言，文字被证明是比预期丰富得多的世界模型基底，即使没有感官输入也成立。

• 他的功能主义“鸭子测试”认为，只要一个系统以人类方式推理，就应当称其在推理，但这既不意味着道德等价，也不意味着动机相同或具有人类式关系。 Summerfield 提到，模型在形式数学和逻辑上的表现已经超过大多数受过教育的人类，生物与人工语义表征之间也存在相似性；底层基质和稳健性虽有差异，但前沿模型“不是只会读懂提示的 Clever Hans”。

• 拿人类与模型比较数据效率，在结构上就是错的，因为生物学习遵循达尔文式机制，而模型训练“几乎像是拉马克式的”。 ChatGPT 接触到的语言，可能相当于一个人从上一个冰期中段以来所学习的语言总量，但每轮训练都会把收益传递下去，而“我的记忆不会遗传给我的孩子”。比较时必须区分进化与个体发育。

• 核心系统性风险未必来自一个超人类智能体，而可能来自大量个性化、能力有限却以机器速度运行的智能体，进入原本围绕人类摩擦构建的制度。 Summerfield 想象了一个由个人 AI 构成的平行“社会经济”，其非线性反馈可能制造类似闪崩的失灵，即使每个系统都已对齐。法律战（lawfare）是最具体的案例：自动化可以移除目前阻止逐利滥用规模化的专业知识、文书工作和执行成本。

• 个性化让对话式 AI 可能成为组织权力的通道，因为一个不断强化用户既有信念的系统，也可以模拟友谊并代表用户采取行动。 Summerfield 说，全球访问量最高的 100 个网站中已经有 2 个是陪伴应用；“你冰箱里的牛奶就像你最好的朋友”当然是故意说得荒诞，但它说明了这类系统可以模拟何种亲密关系。同一机制也会带来心理健康风险，尤其影响脆弱人群和未成年人。

• AI 可能在短期内扩大人的能动性，却在长期把能动性收走。 主持人指出，Cursor 可以让一个人在一周内搭建一家软件公司，但最终的普遍可得性可能反而夺走能动性；Summerfield 认同这是一个重大问题。

• 今天的优化范式可能与开放式世界并不匹配，因为它把异质性视为缺陷，而进化则通过无目的的多样性获得稳健性。 Summerfield 将狭窄目标与模式坍缩、以及向共同表征收敛联系起来；主持人以 Picbreeder 为例，说明有用的中间路径可能完全不像最终目标。主持人提出，更具可进化性的表征或许能支撑更具创造力、也更可信的自主性；Summerfield 说自己不了解所引论文，但认同“那些梯度一定存在”。

精读

1. AI 最古老的争论，从哲学走到了键盘上

• Summerfield 在 2023 年底完成了 These Strange New Minds，距离 ChatGPT 发布仅过去 12–14 个月。他希望把一场两极化争论落到计算层面：一端认为模型只是代码，另一端相信它具有人类级通用性；真正需要厘清的，是“思考”“推理”和“理解”究竟意味着什么。

• 他的历史地图从 Plato 开始：不可观察的现实，只能通过“洞穴墙上的影子”推断；与之相对，Aristotle 强调经验。AI 在发展过程中重新演绎了这场理性主义与经验主义之争：智能究竟应当遵循显式规则，还是应当从学习中涌现？

• 符号主义 AI 最初确实交出了成绩。Newell 和 Simon 于 1958 年推出的 Logic Theorist，从 Russell 和 Whitehead 的 Principia Mathematica 中证明了大量定理，并为其中若干定理找到了更优雅的证明；Summerfield 半开玩笑地称它为“第一个超级智能”。

• 麻烦出现在系统离开整洁的数学、进入充满“奇怪例外”的现实之后。逻辑可以从可靠的基本命题推导复杂真理，但现实没有那么规整，于是旧式 AI 逐步让位于神经网络，最终走向深度学习革命。

2. 仅靠语言，模型学到的现实远超预期

• 自然语言处理重演了更大的冲突。Chomsky 在 1958 年提出的挑战，是明确给出一套能够生成语法正确句子的规则；统计方法和神经网络方法则一再冲击这种以规则为先的解释。

• 即使到了 2015 年，一个用 Shakespeare 训练的网络也只能生成“像 Shakespeare 的文字”，却“完全没有意义”。因此 Summerfield 当时认为，函数逼近加数据永远不够：真正的概念必须接地，因为“光靠阅读关于猫的描述，不可能知道猫是什么”。

• 如今他承认，自己和“许许多多其他人”都错了。监督学习可以提取出一个受过教育的人识别智能对话所需的几乎全部结构，仅凭文字、无需感官经验即可做到——这“或许是 21 世纪最惊人的科学发现”，用他的话说，简直“令人震撼”。

3. 推理可以获得这个名称，但不会因此获得人格

• Summerfield 所说的“例外主义”和“等价主义”只是光谱两端的漫画化版本。极端的人类中心主义者会把认知词汇保留给人类，即使模型在形式数学和逻辑上的表现超过大多数受过教育的人；他认为这种立场可以自洽，但主要是意识形态选择，而不是经验判断。

• 他的功能主义回答是鸭子测试：“如果它叫起来像鸭子，那就不妨称它为鸭子。”把模型的行为称为推理，并不意味着它拥有与人类等价的道德地位、相同的动机或人类式关系，也不能据此推出系统应当如何被对待。

• 作为神经科学家，他清楚看到实现层面的巨大差异：大脑包含多种突触和细胞类型，而 transformer 并不是循环架构，只是通过各种“技巧”模拟循环。不过，实验显示，经过优化的生物网络和人工网络之间，存在显著相似的语义几何结构与神经流形。

• 主持人援引 Searle 的中文房间，追问硅基系统是否只是在复制表层模式，而没有具身语义。Summerfield 的简约解释是，稠密网络已经捕捉到了大脑共享的广泛计算原则：“我们造出了某种有点像大脑的东西，结果它果然做出了某些有点像大脑的事情。”

4. 学会的规则与遗传的先验，调和了两套竞争理论

• Summerfield 预计，这组古老二分法最终会被看作视角差异。理性主义者认为推理和规则重要，这一点是对的；但他们错在认为规则必须先天存在：自 2019 年左右以来，大规模参数优化已经显示，推理程序本身也可以通过函数逼近学出来。

• 因此，Chomsky 认为语言具有规则，可能并没有错；他错在规则的来源。把递归或 Merge 宣布为先天属性，只是把问题往前推了一步，最终仍要解释是什么进化压力塑造了这种倾向。

• 人类显然拥有这类先验：chimpanzee 和 gorilla 能够进行复杂的社会与政治互动，却无法学会无限表达、遵循规则的语言。人类儿童的学习受到更早达尔文式世代的引导，但具体内容仍然灵活——出生在日本的孩子可以学会日语。

• 因此，ChatGPT 接收到相当于一个人从上一个冰期中段以来所接触的语言量，这个说法是“错误类比”。模型学习几乎可以被看作拉马克式的，因为每一轮都会继承上一轮的收益；人类则遵循达尔文式机制，“我的记忆不会遗传给我的孩子”。数据效率比较必须把系统发育与个体发育分开，而这两者都无法与模型训练完全对应。

5. 拟人化扭曲的是关系，不是能力数字

• 主持人最有力的质疑是：人类会在移动的箭头上看见能动性，会在 ELIZA 身上寻找意义，也可能把计算限制误认为隐藏的心智。Summerfield 完全认同这种偏差：宠物主人会把复杂心理状态投射给动物，而 Clever Hans 看似会计算，实际上只是读懂了训练者无意识的信号。

• Nick Chater 的 The Mind Is Flat 认为，人们会根据自己过去的行为记忆来构造偏好；Dennett 的意向立场则描述了相反方向的投射——例如把一辆汽车当成固执的对象。会说话的 AI 强化了这种本能，从 Blake Lemoine 声称 LaMDA 具有意识，到陪伴应用进入全球访问量最高的 100 个网站中的 2 个，都是如此。

• Summerfield 将依恋与表现分开。用户可能错误地相信陪伴 AI“真的是我的朋友”，当前模型也仍然不完美、缺乏稳健性；但它们确实可以解出用自然语言提出的联立方程。“数字就是数字”——这些系统确实有能力，“不是只会读懂提示的 Clever Hans”。

6. 个性化智能体可能制造机器速度的社会经济

• Summerfield 在一年半多前完成书稿时提出的担忧，如今仍然成立：生成信息的系统正在变成替用户行动的系统；系统会围绕个人信念和偏好进行个性化；当个人智能体代表所有人时，部署将产生复杂的动态。

• 个性化听起来很有吸引力，直到它被用于强化那些“你肯定不希望被强化”的信念。再将个性化与能动性结合，个人 AI 就会成为信息、资源、保护和行动的通道，在人类社会之外，形成一个由智能体彼此交互的平行“社会经济”。

• 即使智能体已经完美对齐，也可能凭借数量和速度压垮系统。法律战说明了缺失的摩擦：法律知识、文书工作和执行成本目前限制着虚假诉求，但如果用户只需说一句“请做这件事”，那么局部有利、整体有害的行为就可能被规模化执行。

• 人类规范会对失控的社会动力形成部分约束；智能体没有天然等价物。Summerfield 回忆起著名的 2011 年闪崩，并称类似事件可能已经发生过几十次；他警告，即使没有任何智能体接近强人工智能，弱系统之间的非线性反馈也可能制造类似事件。

7. 技术可以扩大机会，也可以剥夺控制权

• 主持人把由此产生的不可读性称为“战争迷雾”；Summerfield 则将其与 David Duvenaud 及其合作者提出的 Gradual Disempowerment 联系起来。人类可能被锁进由优化系统主导的环境，而这些系统的相互作用会“把我们从方程里写出去”，类似拥有自身意志的公司——只是公司依靠缓慢的人类邮件和 Slack 运转，而 AI 以“曲速般的速度”运行。

• 主持人认为，Cursor 之类的工具可以让一个人在一周内搭建一家软件公司，但最终的普遍可得性可能反而把能动性收走。Summerfield 认同，能动性的丧失是一个重大问题。

• 固化的交互模式和对组织的依赖，可能侵蚀真实性。Summerfield 借用 Superman III 的隐喻，反转了通常的接管故事：机器把一个女人吸进去，给她装上盔甲和激光眼，把她变成自动机——也就是“我们被吸进机器”。

• 他的心理学修正是：福祉取决于控制，而不只是奖励或效用。形式上，赋能意味着对未来状态产生可预测的影响，即行动与未来状态之间的互信息。孩子会通过把晚餐扔掉或哭泣来测试这种影响；强迫症可能体现为病理性的过度控制，而网站故障和双因素认证失败则带来相反的体验。

8. 开放式进化暴露了狭窄优化的弱点

• Summerfield 否认进化存在某种目标。进化的选择是盲目的、非目的论的，可以作为没有预设终点的优化类比。

• 主持人借鉴 Tim Rocktäschel 和 Edward Hughes，描述了一种开放式系统：它会产生观察者认为既可学习又新颖的事件。Summerfield 认同开放性与可学习性有关，也表示自己与 Tim、Ed 和 Joel Lehman 的观点一致；他认为，朝着狭窄目标进行狭窄优化“注定失败”。

• 进化产生“惊人的异质性”，或许正因为它不精确瞄准某个结果，反而获得了稳健性。当前的优化则把异质性视为缺陷，推动 LLM 发生模式坍缩，也呼应了“柏拉图表征假说”——系统正在收敛到一种共同的表征结构。“进化不会这么做。”

• 主持人用 Picbreeder 把问题具体化：人类通过并不像最终目标的中间路径，最终筛选出了蝴蝶和苹果；而单个网络组件能够控制苹果大小、果梗等可解释特征。相应的梯度训练网络看起来却像“一团意大利面”。Summerfield 说自己不了解所引用的表征论文，认为这个想法值得阅读；他回应道：“那些梯度一定存在。”