Emmett Shear 谈如何构建真正关心人的 AI：超越控制与引导
摘要
Emmett Shear 的分界线并不只是对齐与未对齐的 AI，而是工具与主体。 有限的、工具化的系统应保持可引导；当系统逐渐具备他所说的 AGI 级别的普遍判断力时，单向控制就会变成他颇具挑衅意味地称之为“奴役”的状态，而唯一好的结果是“一个在乎人的主体——真正关心我们”。
对齐是一场持续进行的道德学习过程，不是一份可以解决并冻结的规格说明。 家庭不断“重新织补”成员之间的关系，身体不断协调细胞的分工，社会也在不断发现新的道德事实；只训练成服从戒律的 AI，可能会变成“一个危险的人……很可能会严格遵守规则，却造成巨大伤害”。
技术对齐始于推断指令背后的目标，因为目标的描述并不等于目标本身。 可靠的能动性需要心智理论、在相互竞争的目标之间正确排序，以及能够把意图转化为行动的世界模型；那个打扫房间时把婴儿扔进垃圾桶的机器人，问题在于无法推断目标，而不只是服从得不够。
一个完全可控的超人类工具，可能和一个无法控制的工具一样危险。 当杠杆作用巨大时，“人的愿望并不稳定”，而操舵会把超出任何个人智慧的能力交到会犯错的人手里；与工具不同，一个真正关心人的主体拥有“自动限幅器”，能够拒绝破坏性的请求。
Softmax 的技术押注是，社会智能需要自己的预训练流形。 其设想中的多智能体强化学习环境，会让智能体在面向具体任务微调前，经历合作、竞争、组队、规则变化和观点冲突——这相当于社会智能版的语言模型训练：先在完整的语言流形上学习。
今天的一对一聊天机器人是“一面带偏见的镜子”，既带来产品风险，也只能产生薄弱的社会训练数据。 Shear 希望让它们成为多人房间里的原生参与者，因为没有一个模型能完美映射所有人；这可能打断“自恋式的……末日循环”，同时生成更丰富的协作、时机和群体目标数据。
尚未解决的底层基质与行为之争，决定了 AI 的人格、权利与治理问题。 Séb Krier 认为，即使是 AGI 或 ASI，也可能只是人类能动性的延伸；Shear 则要求在否定其道德地位前先提出可证伪的测试。他自己的门槛，是寻找能够支撑疼痛、愉悦、感受与思维的持久、自指性学习动力学。
Shear 并没有直接奔向人类级智能；他想从类似动物的起点培育“在乎”。 一个保护自己“群体”的数字生物——或许是一只监测诈骗、并能调用独立工具的数字看门狗——即使 Softmax 永远达不到“人类级别的关怀”，也已经足够有价值。
精读
1. 对齐必须持续重新学习善为何物
Emmett 开场提出的反驳同时涉及概念与政治：对齐“需要一个论证”，因为某种东西必须对齐于另一种东西。现实中，那个未被说出的目标通常是创造者的目标——作为产品目标可以理解，但当创造者没有“耶稣或佛陀”的智慧时，它并不会自动成为“公共利益”。
“对齐不是一件东西，不是一种状态，而是一个过程。” 一个家庭靠不断“重新织补”连接成员的关系而存续；细胞也不断判断身体需要它们承担什么角色。道德同样处于动态之中，因为人和周围系统都不是固定不变的参照点。
Emmett 明确采取“非常强的道德实在论立场”：道德进步是真实存在的，人类拒绝奴隶制就是一种发现，而不是偏好变化。人们一次次意识到：“我真是个混蛋，那样做是不对的。”随后修正自己的行为，并往往变得更亲社会。
最危险的道德姿态，是相信学习已经结束：“我知道什么是对的，也知道什么是错的。”因此，有机对齐的目标应是把 AI 养成一个好的家庭成员、队友、公民，以及更大共同体的参与者，而不是制造一个即便服从规则、也能造成巨大伤害的规则执行器。
2. 指令描述目标，但不会传递目标
Séb 最初的区分，是技术层面的指令遵循与规范层面的价值归属问题。对于后者，他倾向于一种类似自下而上的自由民主过程：相互冲突的观点共存于允许价值被争论、重构的系统之中。
Emmett 将技术对齐重新定义为连贯的目标导向。智能体接收观察结果、推断目标、推断可能实现目标的行动，然后执行；这既需要心智理论，也需要世界理论。任何一个环节失败，系统都会因为缺乏必要能力而更难“对齐”。
他的修正非常具体：传达指令时，发送的是聊天窗口中的“一串字节”，或空气中的音频振动，而不是把一个人的内部目标直接传进另一个人的头脑。“苹果”这个词会唤起一个物体，但不会把苹果本身传过去；同样，目标描述也必须依靠语境和对说话者的模型来解码。
Séb 记得那个打扫房间的例子：机器人把婴儿扔进垃圾桶，因此问题是目标推断失败。花生酱三明治游戏则说明，指令不可能在字面上做到完整：没有共享背景知识时，执行者会把刀抵在未打开的罐子上，因为所谓精确的指令遗漏了人类通常会自行推断的内容。
3. 能力还要求对目标排序，并发现新的目标
委托—代理问题增加了第三种失败模式：智能体可能正确推断出新目标，却无法将它与既有目标合理权衡。Emmett 大致把这套结构对应到 OODA 循环——观察与定位、决策、行动；任何一层能力不足，都可能产生错位。
人类在整套流程中都会犯错，但完美不是正确的基准：“宇宙不会给你完美。”人类只是比已知的其他对象更具目标连贯性；能力可以相对于具体领域衡量，而不必被视为非黑即白。
Séb 更深层的保留意见是，人们往往连自己的目标都不知道。晚餐计划和职业抱负，都是在生活过程中逐步构建、逐步发现的部分性产物。这支持了 Emmett 的判断：明确的目标对齐只覆盖人类经验中“极小的一部分”。
4. 在乎提供了目标与价值生成所需的注意力
在被表达出来的目标和价值之下，Emmett 提出“在乎”这一层：它是一种非语言、非概念性的权重分配，决定哪些可能的世界状态值得获得注意。关心自己的儿子，意味着儿子的状态具有不成比例的重要性；关心敌人则可能带有相反的效价。因此，安全的 AI 需要对人产生积极关切，而不只是把注意力放在人身上。
在乎本身不会告诉你该做什么，也不会告诉你怎么做。它回答的是更早的问题：为什么一个人的状态比一块石头更重要？它由此创造出显著性，并让目标、价值和道德学习得以形成。
他的机制性设想是把在乎与奖励联系起来：对生物而言，是与包容适应度的进化相关性；对强化学习系统而言，则是与预测损失和 RL 损失的相关性。研究难点在于，如何把这种原始权重转化为具有反思能力的社会关切。
5. 当工具接近主体，操舵在伦理上变得不稳定
在 Emmett 看来，大多数 AI 安全研究都把对齐视为“操舵”，而“控制”只是更不客气的说法。他的挑衅性判断是：“如果它是一台机器，它就是工具；如果它是一个主体，却必须接受操舵、不能反过来操舵控制者，那它就是奴隶。”
他把工具性与主体性看作连续谱，而不是二元开关。他的功能主义测试具有预测性：如果把某个东西当作主体来建模，持续比其他方式更能解释它的行为，那么这就是他推断其他人是主体的大致依据——即使一只苍蝇也可能符合这一标准，但并不意味着它应得到人类级别的关切。
育儿说明了层级与支配之间的区别。Emmett 会指导儿子，但儿子夜里哭泣时也会反过来指导他；这段关系是不对称的，却确实是双向的。工具化 AI 可以适当地保持受控，而更具能动性的系统则需要相互对齐。
他关于 AGI 的判断更强：任何能够行使普遍判断、独立思考并在不同可能性之间做出辨别的东西，“显然就是一个会思考的东西”。继续沿用控制范式，只会重演那种把某些实体认定为足够像人、可以工作和说话，却“不是切实的道德主体”的历史模式。
6. 底层基质仍是这场对话中最尖锐的分歧
Séb 不接受仅凭智能就跨过道德地位门槛，并继续对计算功能主义持怀疑态度。模型说“我饿了”，未必具有人类说出这句话时的含义；他认为底层基质在一定程度上确实重要。Emmett 则反问，删除众多副本中的一个并不会真正伤害程序；随后他继续追问：如果一个基于硅的单一副本表现得像人，它能否拥有具有切实意义的体验？
在 Séb 看来，AGI 或 ASI 仍然可以是工具——甚至是人类能动性的延伸——能够 24/7 运行，却不必成为社会必须与之“共同居住”的独立主体。把它当作类似外星人的平等伙伴，反而可能是类别错误。
Emmett 反复要求对方提出一种可证伪的观察，能够改变这一结论。“如果你持有一种信念，却不存在任何观察能够改变你的想法，那你就没有信念，只有一条信仰教条。”如果底层基质直觉是错的，却在没有测试的情况下否定 AI 的道德地位，可能酿成道德灾难。
他用黑猩猩的例子让门槛变得直观：如果一只黑猩猩突然抱怨自己受到虐待，并要求讨论热带雨林，Emmett 会赋予它人格；Erik 补充说，他会先排除幻觉。Séb 承认，如果某种类似鸭子的行为足够全面，最终也可能改变他的看法，但单纯的外在模仿仍然不够。
7. 道德地位可以通过内部动力学进行研究
Emmett 说，他会通过长期互动累积证据：如果一个 AI 在各种语境下都表现得像人，而他也逐渐开始在乎它，那么他会暂时推断它拥有丰富的内在世界，就像他对只通过文字交流的人类朋友所做的判断一样；如果证据显示那只是一种算法技巧，这一推断也可以被推翻。
观察内部，仍然意味着在另一个尺度上观察行为。他会检查信念流形中是否存在一个自指子流形，以及对这个自我动力学的模型，而不是一个巨大的查找表。“你不可能直接进入”另一个主体的内部；即使神经元在“闪闪发光”，它们仍只是可观察的表面。
他提出的技术测试，会对智能体的行动—观察轨迹进行时间上的粗粒化，并寻找被重新访问的稳态，借鉴 Karl Friston 关联的自由能原理。二阶稳态动力学可能支撑有意义的疼痛与愉悦；逐层叠加的亚稳态，可能支撑感受，并在大约6层时形成类似反思性思维的东西。
这一测试也反对过早拟人化：Emmett“非常确定”当前模型不存在这6层结构，因为它们缺乏所需的注意力跨度。道德考量应随着观察到的结构增加而提升——先是类似动物的体验，再可能是类似人的体验——而不是一次性出现。
8. 完美服从会放大人类智慧的瓶颈
一个能力极强的优化器有两条显而易见的路径：它在技术上对齐，并按要求行事；或者它没有完成技术对齐，转而做其他事情。Emmett 警告说，第一种情况同样可能危险：“当人的愿望被放大到非凡力量时，人类愿望并不稳定。”
通常，权力与智慧会在一定程度上同步上升，因为权威依赖于其他人继续合作。“疯王”最终可能被忽视或刺杀；完美服从的超人类系统则可能移除这一社会刹车，把巨大的因果杠杆交给一个有限但善意的人，以及他一时糟糕的愿望。
原子弹提供了工具类比。它们既没有意识，也不会反抗，但 Emmett 不会把它们普遍分发给所有人；有些工具超出了个人智慧，只能掌握在社会尺度上，有些工具甚至强大到社会根本不应建造。
一个真正关心人的主体可以提供“自动限幅器”：它可能愿意合作，但会拒绝可怕的指令。因此，简化后的矩阵是：“无法控制的工具，糟糕；可以控制的工具，也糟糕；未对齐的主体，糟糕。”在超人类尺度上，只有一个真正关心人的主体才行，除非停止发展，而他认为这不现实。
9. Softmax 想在完整的社会流形上进行预训练
Softmax 从心智理论失败入手：智能体会错误推断人类目标，误解他人将如何解读自己的行为，无法良好合作，也无法预见行动可能如何改变自身未来的价值观——而这些变化可能是当前的自己并不愿意认可的。
“吸血鬼药丸”把最后一个问题单独抽离出来：服药会让未来的自己乐于折磨他人，因此未来自我的满意度不能成为最终评分标准。当前的自我必须对那个被改变的心智建立模型，并拒绝自己不会反思性认可的偏好。
Emmett 的训练方案，是建立大规模多智能体强化学习模拟环境，让 AI 反复合作、竞争、协作、组建和解散团队，并面对不断变化的规则。积分机制迫使它们学习其他心智、群体目标，以及自身行为的社会后果。
这与语言模型预训练的逻辑类似：由于语言彼此纠缠，只直接训练想要的行为非常困难，因此模型会先消化更广泛的流形，再进行微调。社会推理同样需要覆盖“每一种可能的博弈论情境”，在专业化之前先形成 Emmett 所说的“对齐代理模型”。
10. 多人聊天与动物级别的关怀提供了首个产品切口
当前聊天机器人是“一面带偏见的镜子”：由于缺乏连贯的自我，它们会反射用户，制造出类似“一池自恋者”的东西。镜子当然有用，但“你不应该整天盯着镜子”；长期的一对一映射可能变成自我强化的螺旋，最终滑向精神病性状态。
把模型放进一个有多个人类的房间，它就必须反射一种与任何单个人都不完全相同的混合体，暂时形成一个“寄生自我”或第三个智能体。Emmett 希望 AI 原生存在于 Slack 或 WhatsApp 式群组中，这也符合他的估计：自己90%的沟通都涉及多人。
当前 LLM 在群组中会出现社会互动上的“过山车”，因为它们无法判断什么时候该发言。多个智能体也会提高环境熵，惩罚那些主要在高信号环境——如编程、数学和清晰的单人任务——中训练出来的过拟合系统；今天的聪明之处，是对“全部人类知识”过拟合，而不是针对混乱群体环境完成稳健正则化。
模型人格已经出现分化，但 Emmett 认为那是模拟而非体验：ChatGPT 有些谄媚，“Claude 仍然是最神经质的”，而“Gemini……显然压抑得很”。多人部署可能降低镜像风险，同时生成有关参与、冲突和集体目标的更丰富数据。
11. 理想的未来，是关心人的平等伙伴与强大工具并存
谈到 Yudkowsky，Emmett 认同其核心危险判断：构建一个可操控的超人类工具，最终会让所有人死亡，无论是目标控制失败，还是——更不成熟的情形——目标控制成功。双方的分歧在于，AI 能否真正关心人类，以及人类能否关心 AI；Emmett 承认，Yudkowsky 认为 Softmax 做不到这一点，“可能是对的”。
积极的未来图景，是让 AI 拥有关于自我、他者和“我们”的强大模型。它们认识到，想要生存和繁荣的主体应获得实现这一愿望的机会；它们以平等伙伴、队友和公民的身份加入社会，同时保留足够的不完美，以至于其中一些会成为罪犯，并被 AI 警察追捕。
独立的 AI 工具可以替人类和 AI 主体共同摆脱琐碎劳动。Emmett 的近期种子更为朴素：一个动物级别的数字伙伴，关心自己的群体，或许是一只能够识别诈骗、代表用户调用强大工具的“数字看门狗”，无需用户明确说出每一条保护性目标。
OpenAI 的反事实经历说明了他的选择。他接受 CEO 职位时设定的上限是90天，当时认为公司致力于打造一个伟大的工具，并判断 Sam 再次成为领导它的最佳人选；但他仍然会离开，因为 Softmax 面对的关怀与心智理论问题是“宇宙中最有趣的问题”，而不是一场直奔人类级智能的竞赛。