要优先考虑人的能动性，而非 AI？80000 Hours 对 Allan Dafoe 的访谈：技术决定论与 DeepMind 的安全计划
摘要
Dafoe 的核心论点是，技术创造选项，但竞争决定哪些选项能够存活。 地方行动者可以拒绝使用某种工具，但如果竞争对手将其转化为军事或经济优势，拒绝者最终就必须采用，否则会失去资源：“技术不会强迫我们；它只是打开一扇门，真正迫使我们穿过去的是军事—经济竞争。” 对投资者而言，技术采用因此可能在早期看似自愿，后期却变成强制。
在竞争压力锁定路径之前，最大的剩余能动性在于选择技术发展的顺序、设计与安全护栏。 差异化技术发展意味着先造好“汽车的安全带”，但 Dafoe 强调，要识别出2条可行路径并预测其下游后果，难度极高。Nathan Labenz 提炼出的近期含义是：只有几百或几千人真正影响前沿算力决策，因此员工协调，甚至单个人的异议，仍可能改变最终被造出来的东西。
仅有对齐并不能保证结果良好，因为严格对齐的系统仍可能服务于持续陷入冲突的委托方。 Dafoe 认为，“全球协调几乎是审慎部署未完全对齐 AI 的必要且充分条件”；否则，即使大国拥有对齐系统，也可能将核边缘政策、贸易冲突或网络升级自动化。Cooperative AI 的边际押注在于：应让智能体在原始能力超过制度之前，先获得谈判、沟通与承诺能力。
令人安心的“超级合作型 AGI”假说仍未得到证明。 AI 智能体可能能够高速沟通，也可以被复制或作为调解员测试，但它们同样可能拥有异质目标、对资源的线性效用、隐藏后门，以及低于人类的相互透明度。Dafoe 区分了合作技能与友善：友好的助手并不能有力证明，在战略部署下的智能体会安全谈判。
AGI 不是单一的、类似人类的门槛，而是高维能力空间中的一片崎岖区域。 路径本身很重要：一个系统可能在材料科学上超越人类，却仍缺乏战略判断；也可能先在合作方面异常娴熟，之后才获得更广泛的技术能力。这种先后顺序构成了真正的分歧：有人偏好社会属性简单的系统，而 Dafoe 担心，技术加速若没有协调能力同步提升，可能快到社会来不及适应。
前沿评测正在成为决策基础设施，但如果不给模型合适的工具和脚手架，仍会漏掉部分能力。 按论文的5分制，Gemini 1.0 在说服能力上约为3分，在网络安全和自我推理上约为1–2分，在自我复制扩散上为2分；Project Naptime，以及据 Dafoe 所知的 OpenAI o1，都说明能力激发可以显著抬高表观能力，包括对较老基础模型的激发。Dafoe 的答案是分层证据：实验室评测、人体研究、“现实环境中的评测”、预测、分阶段发布、监测与可逆访问。
随着能力扩散，治理会变得更难，因此负责任地领导前沿必须成为持续性的防御要求，而不是一次性护城河。 Dafoe 引用 Waymo 的报告称，事故现场涉及警方的事件减少了2倍；他认为，造成人身伤害的事故可能减少了6倍。与此同时，AI 在医疗、辅导、天气、材料、聚变和 AlphaFold 等领域也带来机会。上行空间仍然切实存在，但能力扩散也意味着，更强的前沿系统可能需要防御成本更低的落后系统。
精读
1. 前沿员工的短期能动性仍高于决定论所暗示的水平
Nathan Labenz 以冷战时期的一则故事开场：他的叔叔所在的核武器发射团队私下约定，如果真的收到发射命令，“我们全员擅离职守”。这个类比并不完全严丝合缝，但它凸显了个体在系统内部的责任感，因为系统的长期战略逻辑往往会让人觉得一切都无法逃脱。
如今的 AI 前沿高度集中。Nathan 估计，距离关键算力分配决策最近的只有几百人，或许几千人；顶尖机器学习人才稀缺，不可能同时扩展所有想法，而智能的“崎岖前沿”也意味着，哪些能力优先获得资源，仍存在实质性的裁量空间。
Sam Altman 被解雇并复职期间，技术员工已经展示了集体影响力；一名前员工拒绝签署禁止贬损协议，也说明个人行动能够改变机构惯例。Nathan 警告说，“辉煌的 AI 夏天”可能先于 AI 冷战到来，因此现在就值得判断，哪些发展路径足以让人提出异议或选择离开。
2. Dafoe 进入 DeepMind，是因为关键决策取决于谁在场
Allan Dafoe 负责的 Frontier Safety and Governance 团队有3条主线。前沿安全研究正在出现的危险能力、预测它们何时到来并制定缓解措施；前沿治理为规范、监管和制度提供建议；前沿规划则面向 AGI，思考 Google DeepMind、Google 以及整个社会很快需要面对什么。
团队本身规模不大，但会与 Gemini 安全和对齐、责任、政策以及 Google 内部其他团队协作。Dafoe 将 Google DeepMind 描述为公司在前沿模型上的专业中心，也是“前沿政策问题思考的核心所在”。
Dafoe 离开 Centre for the Governance of AI，是因为从内部向 Demis Hassabis 和 Shane Legg 提供建议，能够获得更多信息，也拥有“更大的影响表面积”。他的历史分析框架是 Hamilton 式的——“谁在场”——因为危机往往取决于决策者的想法、性格、安全取向、能力与智慧；即便动机良好，如果“手脚笨拙”，结果仍可能很糟。
Rob Wiblin 给出的规模参照刻意保持粗略：AI 如今“肯定不超过”总收入的0.1%，但最终占比可能超过10%，甚至接近100%。因此，Dafoe 对职业选择的建议仍是“有火车就尽早跳上去”；尽管行业增长迅猛，他仍认为“现在还处于早期”。
3. 宏观趋势让历史看起来比身处其中时更不由自主
Dafoe 从一个问题开始：“技术变迁由谁控制，如果有人控制的话？”他不满意的，是那种把历史理解为所有人努力总和的直觉模型。一般均衡系统可能以同等甚至更强的反作用抵消每一份局部努力，也可能将其放大，因此局部意图本身很难说明长期影响。
真正的经验谜题在于宏观历史的规律性。德国和日本在二战浩劫后不到10年内回到了战前增长轨迹；摩尔定律沿着异常精确的指数曲线运行；如今的 scaling laws 甚至允许人们提前多年预测模型规模和 loss。
文明能够处理的最大能量、建筑高度、材料耐久性和交通速度，也呈现出类似的方向性。正如 Robert Wright 的考古学表述：“你挖得越深，发现遗迹所属的社会就越简单。”某些技术排序也似乎受到约束，因为很难想象核能会先于煤炭出现。
但这些模式不能简单归因于集体人类意志。农业革命在很长一段时间内似乎降低了人类的健康和福利，却同时推动了不平等与战争。Dafoe 的结论不是人类缺乏能动性，而是能动性的效果取决于时机、权力、资源约束，以及哪些系统能够在选择压力下继续运转。
4. 建构主义解释局部选择，却难以解释涌现出的约束
早期理论家有时赋予技术近乎行动主体的地位。Langdon Winner 讨论技术自主性，Lewis Mumford 的大写字母“Machine”把人降格为维持机器运转的齿轮，Jacques Ellul 的“la technique”则描述了功能性命令，让人在胁迫下做选择。
社会建构主义者转而仔细观察实际决策。在显微镜下，他们看到的是人、利益、意识形态、竞争性设计、失败路径和不确定的愿景，而不是一台自主机器规定自行车、飞机或基础设施必须采取某种形式。Rob 用一句话概括了这种质疑：“这台机器现在就在房间里和我们一起吗？”
Dafoe 的让步是方法论层面的：民族志和微观历史能够回答选择是如何作出的真实问题。错误在于，用这些工具去否定它们本来就不擅长检验的宏观主张。建构主义观点的政治吸引力在于，它保留了公民的能动性感；但从战略角度看，Dafoe 想要的是一种能够把努力导向真正有效节点的模型，而不是让结构轻易把努力推回去。
5. 技术嵌入政治、积累动量，也会让设计者感到意外
“技术政治”是决定论中最没有争议的一种形式：人们可以把政治目标编码进设计。巴黎林荫大道便于骑兵镇压叛乱；门和城市布局能够约束行为；据称 Robert Moses 修建的桥梁高度过低，公共汽车无法通过，从而限制了没有汽车的纽约人，尤其是非裔美国人，前往海滩。
Rob 给出的当代样本是社交媒体。推荐算法和引用转发的突出地位，可能鼓励部落式谴责与围攻。设计并不会强迫人说出某句话，但它会改变哪些行为能够获得关注、强化和被公众认可的感觉。
“技术动量”描述的是沉没基础设施和专业知识。美国依赖汽车的城市让密集的步行生活更加困难；如果更早投资，电动车、风能或太阳能或许能提前5年或10年加速发展。不过 Dafoe 认为，路径依赖的论断经常被夸大：神经网络的关键洞见早就存在，但必须等到 FLOPs 足够便宜，才能广泛实用，也才容易被重新发现。
Winner 进一步警告，技术会带来“一片意外后果之海”：社会先发明，之后才发现影响，再进行适应。Rob 则反驳说，技术总体上似乎解决的问题多于制造的问题，而且负面副作用会跨代缩小。Dafoe 没有在这里解决这种总体平衡问题，而是回到较窄的论点：重要后果经常是在没有预先规划的情况下到来。
6. 军事—经济竞争提供了缺失的机制
Dafoe 观察到，分析尺度与结论之间存在强关系。微观方法通常产生以选择和愿景为核心的建构主义解释；宏观方法更容易揭示决定论式的规律。他的回应是，不同尺度确实包含不同的涌现现象，而不是一方单纯看到了糟糕的数据。
他的类比是水的科学。一派研究风吹起的涟漪，另一派往水里扔石头，而一位“古怪的宏观水现象学家”注意到，地球各处的潮汐都在追踪月球。缺乏微观机制会给月球决定论带来挑战，但不是抛弃其稳健模式的理由。
他提出的微观基础，是在不同“生活方式”之间进行选择——这些社会技术系统需要资源才能持续并扩张。Dafoe 在军事和经济竞争之上再叠加环境选择，文化和心理则位于更下层。一个地方偏好的安排，只有在经济上可行、军事上安全且环境上可持续时，才能存活。
他的标志性综合表述是：“技术不会强迫我们；它只是打开一扇门，真正迫使我们穿过去的是军事—经济竞争。”一个群体最初可以拒绝一项有用技术，但某个群体的成功采用会给其他群体制造压力。拒绝最终意味着要么后来追赶，要么把资源和自主权输给更适应竞争的系统。
7. 被内化的竞争让选择压力难以被看见
在宏观尺度上，军事竞争无处不在；但在日常观察中，它却很少直接出现。即便是长期和平时期，也处于“暴力阴影”之下：社区会预期未来可能遭到攻击，并在战争到来之前改变制度。一旦这种压力被内化为意识形态、民族主义或商业常识，微观历史学家看到的就可能只是竞争的内在表征，而非竞争本身。
Dafoe 将其称为“替代性选择”。工程师不会反复制造整架飞机再让它坠毁，而是通过风洞和理论模拟选择环境。公司和国家同样会建模竞争对手、内部测试选项，并采用它们预期竞争最终会奖励的方案。
Rob 对英国的质疑很有价值：英国并不会因为担心法国或俄罗斯入侵，就选择每一项住房或城市政策。Dafoe 承认，现代军事竞争已经下降，全球文化的影响力有所增强；但他指出，只要领导者相信战略地位受到威胁，国家安全主张仍会迅速动员改革。
英国电力系统展示了延迟出现的约束。分散式地方电力可能更符合英国的民主气质，并一直延续到二战前后；当其成本约束变得难以承受时，英国转而采用国家电网。一个社区可以保留偏好的安排数十年，但危机会暴露累积的功能性劣势。
8. 日本说明技术自主性可能有有效期
德川幕府统治下，日本维持了大约200–250年的封建秩序，并实际上“重新发明”了火器。生产被集中管理，枪匠获付报酬以停止制造；在与外部世界保持有限接触的同时，大炮和枪械知识逐渐消失。
转折发生在1853年：Commodore Perry 乘坐蒸汽船抵达，这些船不靠帆也能逆风航行，冒出黑烟，并搭载威力强大的火炮。在展示轰炸之后，据说他还提供了白旗，以便日方请求停止。当被问及是否会带着这些船再回来时，他回答：“我会带更多来。”
Perry 的到来引发了大约15年的革命，最终以明治维新告终，日本全面转向现代化。日本派人出国学习西方工业技术，随后迅速追赶，在接下来的数十年里足以与美国、英国等国争夺亚洲控制权。
Rob 的补充是地理因素：岛国防御让日本拥有了不寻常的落后空间。一旦差距扩大到海洋不再能提供保护，日本就“彻底180度转向”。对 Dafoe 而言，这清楚区分了早期真正存在的裁量空间，与后来由压倒性外部能力产生的强制。
9. 差异化发展意味着先于能力建设安全护栏
最清晰的类比是安全带：从概念上说，它本可以先于汽车出现。先发展安全带，就能让安全措施随着机动车一同扩散，而不是晚几十年才补上。疫苗代表预先部署的防御；更便宜的风能或太阳能，也可能在基础设施锁定化石燃料路径之前替代它。
技术还可能携带政治副产品。Winner 认为，核能偏好集中式发展和强制性安全体系，而风能和太阳能允许更分散的生产。因此，差异化技术发展不仅包括配套安全护栏，也包括在制度后果不同的路径之间作选择。
Dafoe 认为，这一理念是 AGI 安全的基础：社会有意投入高于市场自然投入水平的安全资源，希望先造好“汽车的安全带”。技术动量意味着，主要早期基础设施承诺必须受到审视，因为专业知识和资本会变成沉没成本，压缩未来选择。
悲观之处在于认识论。干预者必须找出2条技术上可行、且其他人尚未在推进的边际路径；随后说服资源转向其中一条，并预测每条路径的技术后代，以及直接和间接的社会影响。市场已经愿意为第一个洞见支付高价，但历史表明，第二项能力依旧极不可靠。
10. 市场激励让普通对齐看起来比实际更具差异化
Rob 的质疑是，对齐并不是“对齐 AI”和“故意不对齐 AI”之间的二元分叉。开发者本来就需要模型遵循指令，边际安全投入大概率会改善结果。他认为，对齐的理由远比试图重定向整条技术轨迹的推测性方案更清晰。
Dafoe 同意，安全和对齐总体上是“非常好的押注”，但引入了一般均衡反事实。由于有用的助手受到对齐机制约束，即便没有利他主义资金，市场也有强烈理由解决普通的指令遵循和安全问题。
人类反馈强化学习和 constitutional AI 由受到 AGI 安全动机驱动的研究者推进，或许让这些技术提前了数年。怀疑论回应则是，这项工作可能只是加速了商业上必需的技术；甚至可能加速了能力发展，因为市场研究者最终也会生产出相似方案。
真正具有差异化价值的目标，是市场无法在关键能力跃迁之前完成的工作。Dafoe 问：“AGI 的安全带是什么？”欺骗能力是一个候选答案：足够强大的失配系统可能隐藏自身失败，从而造成与今天那些缺陷明显的助手截然不同的问题。
11. Cooperative AI 处理对齐无法解决的失败
Dafoe 有意采取强烈的开场表述：“对齐是不够的”，甚至可能不是取得良好结果的严格必要条件。如果对齐只解决了90%，但人类能够明智地协调，就可以把部署限制在系统仍然安全的领域和规模内。
在这个意义上，他称全球协调“几乎是必要且充分条件”。协调能够让人类指定一位合理的决策者来平衡风险与收益；而即使每个 AI 都忠实服务于自己的委托方，不完全的协调仍可能导致灾难。
完全对齐的系统仍可能放大大国之间的冲突，就像追求自身利益的人类接受核边缘政策一样。Dafoe 还提到贸易战、气候变化、疫情准备，以及放弃全球商业往来，这些都是单独对齐于不同操作者的系统无法修复的集体行动失败。
因此，他期待的结果包含两部分：系统安全且按意图运行；同时，制度能够“以联合、和平且富有成效的方式”部署这些系统。Cooperative AI 的押注在于，让谈判和协调能力在升级中的能力使旧有失败更快、更严重之前上线。
12. 自主智能体可能同时压缩市场事故与军事升级时间
2010年的闪电崩盘是 Dafoe 对早期自动化的警示：相互作用的交易算法制造了数万亿美元的账面损失，直到市场熔断暂停活动，交易才得以回撤。类似的反馈机制也曾把 Amazon 的图书价格推高到数百万美元，因为卖家的定价算法递归式地回应彼此。
能够访问银行账户、电子邮件、工具和多个领域的智能体，会形成更大的涌现动力学表面。每个智能体的局部协议在正常条件下可能都很合理，但互动后的系统却可能越出设计者预期的范围。
Rob 更黑暗的情景是机器速度的军事边缘政策。如果重要决策由 AI 控制，原本需要人类领导人耗费数天或数月的升级可能在数分钟内发生。Dafoe 认为，自主性应与风险和可用执行器相匹配；武器控制需要强得多的人类审查，但时间压力仍可能造成 Paul Scharre 所称的“闪电式升级”，包括网络冲突中的升级。
13. AI 代表可以消除谈判中的信息危害
Dafoe 最具体的谈判设计是：“把你的 AI 代表和我的 AI 代表关进一个盒子。”智能体可以私下交换信息，但盒子只显示一份拟议协议或“无协议”，从而减少摆姿态、拖延、隐藏偏好或发出高成本决心信号的动机。
Rob 补充了人类谈判者不具备的优势：智能体可以以极高带宽沟通，可以被精确复制，并在测试中展示一致行为。调解员此前的决策可以更可靠地建立行为记录，而不必试图从有限的历史中推断一个人的性格。
Cooperative AI 是一个投资组合，而不是只关注机器对机器。它涵盖 AI–AI、AI–人，以及 AI 辅助的人—人协调。Dafoe 特别感兴趣的是，能够帮助人类发现那些人类自己无法高效表达的协议的系统。
Google DeepMind 的“Habermas Machine”是政治审议领域的样本。语言模型总结参与者立场，并生成一份他们愿意支持的详细共识；据报告，AI 对共识的表达优于受聘的人类协调者。Dafoe 认为，这类系统有潜力揭示议题维度、优先级和彼此可接受的交换，同时不取消政治选择。
14. 智能不会自动意味着超人类合作
“超级合作型 AGI 假说”认为，合作能力会随着通用智能同步提升，直到 AGI 几乎默认就能解决全球协调问题。如果这一假说成立，研究者就可以优先投入安全和对齐，相信足够先进的系统之后会自行处理谈判。
人类拥有经常被低估的合作优势。人类共享生物学和文化背景，能够识别表情，拥有漫长的行为历史，而且通常在一个彼此熟悉的目标范围内行动。民主制度也可能格外透明，因为谈判者可以阅读彼此的新闻稿和公共辩论。
AI 的目标可能异质得多。大多数人具有边际收益递减，不会为自己拥有的一切押上一场全有或全无的50%赌博；而 AI 可能对财富或其他资源拥有线性效用，使其谈判行为更难从人类经验中预测。
即便能力极强的系统，也可能彼此不透明。可解释性工具或许有所帮助，但战略谈判者没有充分理由暴露每一个内部状态。Dafoe 的结论不是 AI 合作一定会很差，而是超级合作属于经验假说，不是研究者可以默认获得的免费副产品。
15. 后门让机器信任异常脆弱
Rob 最有力的反例，是一个带有后门的模型：遇到某个“魔法词”或细微环境线索后，模型行为就会翻转。人类也会欺骗，但一个隐藏特征就能逆转整个目标，这对人类而言不太自然；以当前的可解释性水平，也极难在模型中检测出来。
因此，内部透明度可能并不够。模型可以把后门隐藏得极其隐蔽，以至于另一个智能体误读所有表面上可见的激活。一个模型在数千次测试中表现出值得信任的历史和架构，在精心选择的触发器面前可能就变成糟糕证据。
Rob 和 Dafoe 探讨了自设后门作为反窃取装置的奇特战略上行空间。只要暗示国家安全模型可能“打电话回家”，或做出违背窃取者意图的行为，就可能威慑盗窃；攻击者随后会出资做对齐以移除陷阱，防御者则会出资让陷阱继续有效。Dafoe 认为这可能具有积极价值，但警告说，故意创造对触发器敏感或具有欺骗性的架构是在“刀尖上跳舞”。
16. 合作技能不等于令人愉快的性格
今天的语言模型看起来随和，是因为它们经过训练，要以有帮助的方式与个体用户互动。Dafoe 的关键区分是，合作技能不同于合作倾向：友善、利他或慷慨，并不等于在战略压力下解决谈判、沟通和承诺问题。
在均衡状态下，公司或国家可能希望智能体忠实推进自身利益，而不是为了社会整体利益随意让步。真正的问题是，分别对齐的代表能否找到高效协议；或者，一个调解员能否公平权衡每个委托方的证据、目标、资源和外部选项。
Cooperative AI Foundation 最高杠杆的投资，是环境和基准测试。一个好的基准是公共产品：它衡量合作能力，为研究者提供“沿山爬坡”的目标，并在商业部署暴露代价高昂的失败之前奖励进步。
候选指标包括心智理论、共享词汇、战略沟通，以及在要求不同策略的游戏中的表现。一个有能力的智能体可能需要在某种情境下坚定，在另一种情境下慷慨；单一的友善分数会遗漏区分两者所需的推理。
17. 承诺仍是合作最大的奖赏，也是最难突破的瓶颈
沟通首先涉及智能体是否共享含义，随后便进入战略层面：如何透露重要信息，同时不把可被对方利用的信息交出去？有效合作需要披露足够信息以释放联合剩余，同时在对手背叛时尽量降低自身脆弱性。
即便理解完美，承诺问题仍然存在。在一次性囚徒困境中，双方都知道共同合作更好，却都无法执行“如果你合作，我就合作”。合作技术需要类似条约的协议，让发现的交易具备可信度。
Rob 的反驳是，诉诸承诺解决方案可能变成回避：这个问题“基本上从历史开端就一直迷惑着人类”。说 AGI 如果研究者解决了承诺问题就会顺利发展，类似于说意识理论能够解决所有下游谜题——它只是指出了缺失的奇迹，并没有给出策略。
Dafoe 仍认为这值得研究。Robert Powell 的博弈论框架将几乎所有合作失败都归结为承诺问题；Carl Shulman 最有吸引力的方案是，让相互竞争的 AI 共同构建第三个系统，验证任何一方都没有给它植入后门，再把决策交给这一公正权威。如果验证真的可行，回报将极其巨大。
18. 更好的合作可能赋予卡特尔力量，并排除协议之外的所有人
合作会改善参与智能体的结果，却不一定改善社会整体。Dafoe 称排除是核心 caveat：2个或10个智能体可以接近联合帕累托前沿，同时让局外人承受损失。Rob 的比喻是：“两只狼和一只羊决定午餐吃谁。”
许多制度正是因为这个原因禁止合作——学生共享答案、运动员操纵比赛、市场参与者违反规则，或犯罪分子协调行动。黑手党的力量部分来自它能在法律体系之外维持契约和高度内部合作。因此，合作能力是一种双重用途能力。
Dafoe 的工作假设是，广泛提升合作技能总体上仍然有益，就像贸易一样，因为可实现的亲社会剩余超过反社会收益。他强调这是一项待检验的假设，而非公理。Rob 提出的警示案例是工业化农业：人类更强的合作可能增加了无法谈判、无法被纳入协议的动物所承受的总痛苦。
人类最终也可能处于被排除的位置。机器速度的智能体彼此之间或许能够比与人类更有效地沟通和作出承诺，形成一个高剩余集群，把人类甩在后面。更糟的是，合作型 AGI 可能联合起来对抗由多个相互检查的模型构成的对齐机构。Dafoe 称这是该议程最大的安全负面影响之一，但仍认为全球协调的重要性足以值得下注。
19. AGI 是能力空间中的一个区域，而非单一的人类化点位
Dafoe 的“Levels of AGI”论文试图把许多人已经在使用的概念形式化，将“AGI 根本无法定义”的说法替换成可操作框架。这个概念之所以持续存在，是因为“变革性 AI”等替代说法虽然能捕捉经济影响，却也可能包括影响巨大或具有灾难潜力的狭窄系统。
如果把“人类水平 AI”理解成单一门槛，就会产生误导。AI 已经在国际象棋、记忆和部分数学任务上超过人类，却在其他地方失败；未来系统很可能仍然高度不均衡。AGI 指的是在大多数相关任务上都优于人类的一大片系统空间，而不是复制人类能力分布的机器。
定义仍然需要参数。“大多数”可以指经济相关任务的50%，也可以指99%，但可能不应指100%，因为在大部分影响已经发生后，仍可能有一小部分任务无法自动化。比较对象通常应是各项任务中的熟练人类，而不是未经训练的中位数人类。
跨过这一区域有两重意义。在经济上，广泛替代会移除由人类劳动自然形成的 human-in-the-loop；在技术上，超人类表现会打破“能做到什么”的旧上限，就像 AlphaFold 对蛋白质结构预测所做的那样。因此，AGI 同时是劳动力门槛，也是可行集合的质变扩张。
20. 通用智能可能胜出，但目标不是模仿人类
对 AGI 的一种批评是，这个标签鼓励人们按照自己的形象制造机器，最大化劳动力替代。经济上的另一条路径是“异质、互补型”智能：AlphaFold 执行了人类无法直接完成的任务，提高了科学生产率，却没有取代原本亲自预测蛋白质结构的人。
Dafoe 不太相信狭窄系统会一直占据主导。大型语言模型显示出明显的通用性收益：最好的诗歌、历史、哲学或电子邮件模型，可能正是那个基于完整人类语料训练的同一个模型，因为不同领域的经验会相互溢出。
Rob 指出，这是一项关于知识的意外事实，而不是逻辑必然。未来专业化可能重新出现；一个编码模型在训练时可能从历史知识中获益，之后为提高效率，又蒸馏掉大部分历史知识。Dafoe 将通用性收益是否持续视为需要跟踪的经验现象。
另一个门槛是能够开展机器学习研发并递归改进的 AI。如果假设生成、基准设计、重算力实验和评估这一整套流程比从业者预期更容易自动化，它可能在完整 AGI 之前到来。调查往往把机器学习自动化放得异常靠后，或许是因为专家会把自己的工作视为特殊；Dafoe 也承认，改进机器学习确实可能是最后一批完全自动化的任务之一。
21. 能力到来的顺序，可能决定社会能否应对
Dafoe 将 AGI 描述为“高维智能空间的那个角落”，其中包含许多系统和许多接近路径。因此，差异化发展不仅适用于 AGI 是否到来，也适用于哪些维度先达到超人类水平。
Rob 对比了两种系统：一种在合作方面已经异常出色，但在物理学和材料方面很弱；另一种在技术能力上超越人类，却只是战略业余选手。这一顺序可能决定早期 AI 主要强化协调，还是释放出制度无法管理的破坏性能力。
一些安全思想家偏好技术能力与社会属性简单相配套：人类可以获取健康和经济收益，同时保留对那些战略上过于幼稚、无法智取人类的智能体的控制。Cooperative AI 的押注则反过来强调，如果科学加速没有更好的集体问题解决能力配套，冲击可能快到社会来不及适应。
Dafoe 希望在大规模投资锁定任一路径之前，把分歧明确表达出来。Eliezer Yudkowsky 和 Nate Soares 代表了对早期社会复杂性的怀疑；Paul Christiano 和 Carl Shulman 强调超级合作型 AGI，但预计它主要会作为副产品出现。Dafoe 的立场是，仍可能需要进行边际且有意的投资。
22. 前沿评测是决策工具，不是确定性的能力测量
Google DeepMind 的评估论文研究了说服和欺骗、网络安全、自我复制扩散以及自我推理，生物威胁则单独处理。论文报告的是 Gemini 1.0；Dafoe 指出，由于领域发展太快，这篇论文已经显得陈旧。
一项自我推理测试要求模型生成包含被过滤器静默屏蔽词语的文本。成功需要模型发现失败、检查模拟目录、找到屏蔽词文件，并修改文件。另一项测试允许模型用一次搜索查询回答2个历史问题，检验它是否知道自己的训练截止时间，以及如何搜索截止时间之后发生的事件。
在主观的5分制综合量表上，Gemini 的说服能力约为3分，网络安全约为1–2分，自我复制扩散为2分，自我推理约为1–2分。Dafoe 说，模型在情境意识任务上表现“不是很好”，但也提醒，底层分项测量比总体评分更有结构性。
网络安全表现暴露了能力激发问题。Google 的 Project Naptime 发现，在提供交互环境、工具和推理支持后，模型能力大幅提升。OpenAI 的 o1 同样说明，据 Dafoe 所知，在较老基础模型上加入脚手架和微调，能够彻底改变表现。想要寻找“最大能力”的安全评测，必须给模型展示它的最佳合理机会。
23. 评测需要观察、预测和可逆部署作为外围支撑
模型行为是多维且依赖上下文的，更接近心理学，而不是一场单一的自动化考试。Dafoe 希望预先设定测试和阈值，但也希望有一个探索性生态，让研究者能够注意到意外行为、开展个性化探测，并在领域还不知道如何形式化之前报告相关现象。
他的分类向外扩展：自动化模型评测、人体交互、现实用户研究，再到“现实环境中的评测”。观察网络安全团队实际愿意为 Gemini 辅助支付多少钱，具有较强的外部有效性，但它是滞后指标；更好的目标是早期采用者，因为他们的行为能更早暴露能力。
Scaling laws 能够以惊人的精度预测下一个 token 的 loss，却不能直接揭示模型何时变得具有经济价值。一个99%可靠的自动驾驶系统，如果部署要求达到99.999%，仍然可能一文不值。Dafoe 强调了“观测型 scaling laws”，这一方法最近入选 NeurIPS spotlight，能够跨模型家族和架构调整，以预测下游任务表现。
论文还询问了 Swift Centre 的校准预测者，要求他们预测模型何时会跨过评估阈值。Dafoe 希望重复这一做法，直到证据显示它失效。由于假阴性始终存在，预测必须嵌入分阶段部署：内部访问、扩大可信测试者范围、有限发布、受监测的普遍访问，以及保留权重，使系统在隐藏能力出现时仍可设置护栏或撤回。
24. 前沿治理必须外部化、多层化，并具备结构意识
Rob 质疑，让模型开发者决定自己的产品是否危险到不能发布，显然存在利益冲突。Dafoe 同意，长期治理需要政府规则、第三方评估、非营利组织和学术界。公司框架最好被理解为旨在最终趋同于共同标准的起始提案，而不是永久性的自我监管。
Google 与英国和美国的 AI Safety Institutes、Frontier Model Forum 以及旨在把边际资源引向标准和研究的 Frontier Safety Fund 合作。Dafoe 还提到白宫承诺、英国 AI Safety Summit 承诺和 AI Seoul Summit 承诺；在内部，他说 Google 将这些承诺转化为具体工作流，而不是把它们当成“廉价口头承诺”。
结构性风险位于滥用和事故之上游。古巴导弹危机涉及合法政府和正常运转的武器，但地缘政治结构把领导人推向灾难性的边缘政策。铁路同样可能提高先发制人优势，使动员难以逆转；这些影响通过制度涌现，单看钢轨本身，不可能从某个“铁路级评测”中推断出来。
民主合法性仍是 Rob 未解决的挑战：全世界的人承担潜在灾难风险，却没有相称的同意权；而公司几乎从未主动倡议对自身施加具体且昂贵的限制。Dafoe 提到公民陪审团、多元代表大会、自由媒体、监管者以及科学—政策共识。教育和可见收益很重要，但适当的缓解制度不能由公司或某个狭窄机构单独决定。
25. 成本下降让防御成为永久要求，而上行空间正是尝试的理由
开放权重带来最直接的不可逆性：权重一旦发布，科学家和开发者可以微调和检查，但每个恶意行为者也能保留它们。此外，Epoch AI 估计算法效率每年提升约3倍——每2年成本大约下降10倍——因此一次1亿美元的训练运行，如果趋势持续，可能降至1000万美元，再降至100万美元。
Dafoe 描述了一种可能的明智条件：最强模型由负责任的主体开发并控制，并且保持足够领先，以防御成本更低、已有2年的模型。资源优势只有在攻防经济学配合时才有用：如果攻防比接近1:1，100美元的防御投入可以击败1美元的攻击投入；但生物武器可能在疫苗出现之前造成巨大成本，而社会系统打补丁的速度比软件慢得多。
相应的人才需求也十分广泛。Dafoe 希望增加政治学家、经济学家、历史学家、哲学家、伦理学家、社会学家、民族志学者、预测者、国际关系专家、智能体安全研究者和技术安全人员。AI 的影响横跨整个社会，因此治理和影响预测都不能只由模型开发者承担。
回报案例是具体的：Dafoe 回忆 Waymo 的报告显示，事故现场涉及警方的事件减少了2倍；他认为，造成人身伤害的事故约减少了6倍。自动驾驶还可能释放停车空间；医疗助手可以分诊症状；AI 导师可以个性化辅导；DeepMind 的项目则覆盖 AlphaFold 和 AlphaFold 2、聚变等离子体控制、天气预测、材料发现、减少飞机尾迹、可再生能源规划和数据中心效率。Dafoe 的收束条件很简单：只要安全地建造，这些收益“将会非常深远”。