行动自由:美国的 ASI 战略——对谈 RAND 的 Joel Predd、Ben Boudreaux 与 Matt Chessen
本篇先锋
Ben Boudreaux
Joel Predd
Matt Chessen
摘要
- RAND 建议美国在押注7种竞争性战略中的任何一种之前,先保留应对 ASI 的选项。 危险是否迫近、能否共存、能否克制、能否取得决定性优势、能否压制对手,这5个尚无定论的问题决定哪种战略更合理。“保留行动自由”意味着现在就建设能力:默认加速可能导致安全保障缺位,而对抗则可能摧毁未来合作所需的信任。
- RAND提出的支出方向涵盖验证、评估、安全数据中心、算力可见性、事件响应和基础设施韧性。 RAND已梳理出106项能力,但尚未为战略估算成本。Labenz举出的“某种战略成本为1X、保留选择权成本为1.5X”,明确只是直觉示例,并非估算;外界指出的批评也得到承认:“没有价格标签的战略,只是愿景。”
- 要实现 ASI 主导地位,必须打通一条充满争议的链条:从前沿领先,走向持久的经济与军事优势。 科学优势仍需转化为应用、作战 doctrine 和控制能力;快速起飞或许能拉大领先幅度,却也可能让人类无力安全地利用它。Labenz指出,现有核武库限制了胁迫空间;Ben Boudreaux则强调,优势只有在“领先者能够继续领先于 AI”时才有意义。
- 合作仍是一个选项,但 Joel Predd 提醒,人类并非价值观一致的单一行动者。 Labenz倾向于共同开发,并把暂停研发作为后备方案;Predd警告,与中国合作可能将威权主义的创始价值观固化在最终系统中。反过来,如果释放美国垄断 ASI 将威胁中国共产党的信号,也可能让竞争变成生死之争,促使对手加速响应。
- 对 AI 的依赖,可能让名义上关停 AI 的能力在经济和运营层面都变得不可用。 Labenz举出一个具体警示:2026年10月,Claude轮换了一个智能体控制台的密码,让他暂时无法访问自己的系统。一位嘉宾的建议是,在 AI 工作前后都由人来判断,并反复演练人工备用方案;这样,“让 AI 始终处于可被关停的风险之中”才有可信度。
- 分布式智能体生态,可能颠覆围绕一个美国超级智能和一个中国超级智能构建的战略。 一位嘉宾指出,超智能行为可能由低于 ASI、甚至低于 AGI 的蜂群涌现。战略单位或许会变成由智能体和联盟彼此作用构成的“生态”,令遏制、监督和集中控制等假设更加复杂。
- 随着前沿能力扩散,Chessen认为网络安全可能迎来12–24个月的艰难时期。 他说,Mythos大约在9个月前出现,而开放权重模型通常落后前沿6到18个月。长期看,AI可能更有利于防守,但这取决于采用速度;即使大型科技公司能够保护自己,小企业仍可能暴露在风险之中。
精读
1. 华盛顿日益重视,但战略仍未定型
- Joel Predd描述了该中心过去2.5到3年的显著变化:研究人员起初还得“悄悄提 AGI”,以免显得沉迷科幻;如今,会议上谈到超级智能已是家常便饭。他的建议是关注“趋势,而非时间戳”。治理层面的关注度正在上升,但他仍觉得,真正严肃对待这一问题的人太少。
- 一位嘉宾区分了认识到战略重要性与推动制度适应:建立验证技术、政府技术专长、评估能力、危机响应和沟通机制,都需要相当长的时间。继续部署却不建设这些能力,“可能等于主动放弃一些选项”——不作为本身就在决定未来还剩下哪些战略。
- 一位嘉宾认为,问题在于如何把证据传递给决策层:最接近前沿研发的人认为危险迫在眉睫,但领导层还没有充分吸收这一判断。政策制定者要处理的议题太多,需要以便于更新判断的方式呈现证据。“我们不能只是等危机发生”;Chessen认为,Hugging Face事件只是一次小型危机,不足以成为提高认知的可靠机制。
2. 每种战略即使奏效,也有其病灶
- 按照 Chessen 的分类,如果危险看起来还很遥远,加速战略就会最大化收益和竞争优势。其病灶在于,市场无法给危害定价,而社会却日益依赖自己无法控制的系统。主导战略则力求保持前沿领先并压制对手,但即便执行成功,也可能造成权力极端集中和“价值观锁定”。
- 共同开发通过美国主导的联盟汇集资源,而联盟很可能需要中国参与;它将共享算力与分层验证结合起来。但创始者的价值观可能成为默认设置,联盟本身也可能成为竞争场域。备战战略强调国际协调与韧性,其对应的风险是“得过且过”,让损害在日积月累中变得常态化。
- 暂停研发战略通过可验证的全球停摆争取时间,让共存研究追上能力发展。但执行机制可能固化为全球监控体系,同时让各方放弃潜在收益。威慑战略在国内停止危险研发,并在海外压制相关发展,必要时可能动用武力;其病灶是对峙长期延续,始终无法走向和平。
- 社会延续战略针对的是危险已不可避免、且超级智能广泛扩散的黯淡局面,优先建设韧性,但人类或许只能“作为遗迹幸存”,几乎没有自主权。贯穿这7种战略原型的核心区别,在于能否抵达一个自洽的胜利状态,还是接受 Chessen 所说的另一面:战略运转良好,却带来黑暗结果。
3. 5个关键问题揭示各项战略的前提
- Chessen的分类框架提出5个问题:“危险是否迫近?”“能否共存?”“能否克制?”“能否取得决定性的战略优势?”以及“能否压制对手?”它们分别关乎危险能力是否近在眼前、人类能否与之共处、合作限制是否可行、能否取得潜在的决定性领先,以及能否阻止其他人继续推进。
- 这些分支解释了看似互不相容的政策主张。危险遥远时,加速更有吸引力;若危险迫近、共存不可行而克制可行,则暂停研发更合适。若共存可行且有望取得决定性优势,主导战略可能更占上风。Chessen认为,这些问题没有共识,也没有证据能保证在决策所需的时间范围内形成共识。
- Predd认为,围绕危险是否迫近这一问题,观点变化最大;但他不确定掌握大权的决策者是否真的改变了想法。共存在技术层面仍难以评估。谈判式克制又与国内和国际信任不足纠缠在一起;如果相关态度有所变化,他认为也可能是变得更加怀疑。
- Chessen的补充是,这些关键变量部分由政策内生决定:政策可以让危险更远、改善共存条件,或让克制变得更可行。白宫提出的“道德约束性承诺”,就是试图塑造发展路径的例子。但 Chessen警告,过早对抗可能摧毁合作所需的信任,而加速则可能让能力建设严重滞后。
4. 前沿领先不等于取得决定性优势
- Labenz把芯片禁令视为美国已经在追求主导地位的证据,并质疑美国是否只是默认选择加速。Predd则区分了维持稳定的技术领先与阻止对手跨过某一门槛。对于同时受经济激励和技术进步驱动的领域,后者是难得多的主张。
- Predd还区分了技术、经济和军事优势。前沿领先必须转化为增长和科学创新,才能支撑经济优势;军事优势则需要武器、作战概念和战略 doctrine。这些转化“不会自动发生”;把所有领域都归为一个决定性优势,掩盖了各自不同的要求,也可能掩盖各领域的领先者并不相同。
- Labenz在桌面推演中扮演中国,进一步强化了他的怀疑。局势变化太快,参与者始终跟不上,但他仍觉得自己握有相当大的筹码,部分原因是他希望达成建设性的协议。他举的例子是台湾的半导体晶圆厂:“要是它们出了什么事,那可就太可惜了。”为什么要假设对手无法打断领先者的进程?
- Boudreaux看到快速起飞带来的矛盾:它或许能扩大领先者的优势,却可能没有足够时间建立控制和可引导性。即便主导地位成功实现,也未必持久;盗取、蒸馏和扩散都可能迫使战略再次转向。战略选择或许会是“持续适应的过程”,而非一劳永逸的决定。
5. 合作与主导都依赖难以成立的政治前提
- Labenz提出自己的默认选项:共同开发;如果科学问题表明继续研发不安全,就转为暂停研发。Predd认同,对协调一致的人类而言,这“或许很有道理”,但随即提醒:“人类并不是一个统一行动者。”他的顾虑是,与中国共同开发可能把非民主的创始价值观锁定在长期延续的系统中。
- Joel Predd介绍了 Phil Root 的博弈论研究:该研究把 AI 竞赛建模为囚徒困境。在讨论采用的假设下,即便合作能带来更大的集体收益,相互破坏仍是竞争均衡。如果 AI 产生一种能力,使一方能够威胁对手的 AI 项目,结果就可能不同。
- 这种假想的“奇迹武器”必须迅速且剧烈地改变军事平衡;一般的军事创新通常还需要经过采用、兵力结构调整和作战 doctrine 建设。核武器是最典型的类比。Predd说,有人“相当有说服力地”认为,Mythos级别的漏洞发现能力是 AI 领域的早期实例;自主网络能力也可能带来持久的前沿优势。
6. 核历史能提供警示,却无法给 AI 定下时间表
- Labenz反驳网络主导的叙事:除非新能力能以某种方式让对手的核武库失效,否则对手仍然拥有核武器。Predd认同超级智能将在一个已有核武器的世界中出现。因此,主导战略必须解释如何永久压制对手,同时避免升级为灾难性战争;这是重大风险,不是实施细节。
- 讨论中,一位嘉宾将当下的不确定性与洛斯阿拉莫斯科学家所做的计算相比较:他们当时能够计算 Trinity 核试验是否会点燃大气层。他们也有焦虑和不确定,但有物理学和数学依据支持决策。“我们没有类似的科学”,无法据此回答危险是否迫近、能否共存,或能否取得决定性优势。
- Predd说,RAND进行的数百场桌面推演一再显示,结果取决于参与者对这些关键问题原本抱持的看法。相信可以取得决定性优势的人,行动方式会不同于否认这种可能的人。“你对事实的认知,重要程度不亚于事实本身,有时甚至更重要。”
- Predd梳理了核战略的演变:曼哈顿计划竞速、约4年的核垄断、与暂停研发相似的提议、可验证协议,以及后来针对伊朗和朝鲜但成效有限的压制行动。AI可能以快得多的速度经历类似战略阶段。核时代有时间在阶段转换之间建设能力;AI可能要求这些能力提前建好。
7. 共存需要保留人类的决策权
- 嘉宾们刻意使用“共存”,而不把“对齐”当作总括概念。对齐只是可选路径之一,其他路径包括控制机制、架构设计,以及“尚未知晓的方法”。目标是让人类与先进 AI 共处,同时保留自主权,而不只是让模型符合一套预先指定的价值观。
- Boudreaux认为,对齐和控制研究经费仍然不足。评估必须考虑模型能否识别测试并可能故意表现不佳;安全环境则必须假设模型不可信,防止其逃出沙箱或失控扩散。这些都是与系统共处的技术前提,因为系统表面上的行为未必能反映真实能力。
- 制度设计同样重要。Boudreaux希望在人类处于高风险决策的核心位置,包括决定发展节奏,以及 AI 赋能的研发进程。人类检查点应能发现 AI 试图说服决策者的情况。人们必须审慎讨论和决定要向 AI 授予多少自主权、授权和决策空间,而不是任由边界自动外移。
- Predd提到 Boudreaux 与一位同事合作开展的“自主权评估”。Boudreaux说,评估会描绘人类的决策空间,并追踪 AI 是否说服了人、剥夺参与者的发言权,或控制议程。单看每次都合理的授权,累积起来也可能导致系统性自主权流失。要评估这一点,需要长期观察部署过程,而不只是给模型的离散任务打分。
8. 安全架构既要应对现有威胁,也要防范 AI 本身
- Predd提出的首要要求是改造现有机构:反恐机构要应对使用 AI 的恐怖分子,情报部门要兼顾 AI 带来的机会和对手的运用,常规军队则要承担新任务,例如执行 AI 军控。核韧性和生物安全也需要调整。“旧问题不会消失”,先进 AI 只是在改变各方能够使用的手段。
- Chessen提出另一层 AI 安全架构:建设技术和制度能力,让技术保持安全、世界维持稳定。行动自由并不要求固定的一套配置,而是先打好基础;如果证据突然显示危险更近或共存更难,相关基础就能重新组合。
- 投资应同时覆盖普遍有用的能力,以及建设周期较长的能力。验证能力未必适用于每一种战略,但如果等到暂停研发成为必要时才开始准备,届时可能已经来不及。Predd优先考虑“导航能力”:了解模型表现、中国的能力、算力所在位置和集群分布,让决策者判断自己处于战略空间的哪个位置。
- Predd强调,这是一项面向美国的战略,范围不止华盛顿。核威慑和国防涉及政府不可委托的责任,但高度安全的数据中心也可以支撑商业市场;事件报告和响应则可以由公民社会参与。安全架构中的许多组成部分将由私营部门建设,而非完全由政府包办。
9. 成本尚不明确,能力清单却已具体列出
- Predd接受了同行评审中最尖锐的批评:“没有价格标签的战略,只是愿景。”他的回应是,每种严肃的战略原型都意味着资源、注意力和政治上的重大重新配置。加速战略或许不需要同等规模的前期支出,但成本可能体现在其负面后果上。他将这种调整规模与核体系或 9·11 之后的安全重组相提并论。
- Labenz给出一个数字上的直觉示例:某种战略的成本或许是1X,而保留所有选项的成本是1.5X。Predd认为这种理解方式合理,但也明确表示:“我们还没有做这些成本估算。”他的意思是,不同战略之间有大量支出重叠;保留选项需要额外付出的溢价尚未量化。
- Chessen给出了具体的研究基础:一份安全架构目录,列出106项能力。LLM帮助团队搜集、整理和重新组合材料,项目知识库也很有用;但它们较少用于一手研究。一些能力已有研究估算开发时间,另一些则还没有人做过相关评估。
- 未来几个月的冲刺工作旨在厘清建设周期、粗略成本、现有及适合的建设方,以及某些能力是否应由政府持有。完成后再发布研究。成本也不只在联邦预算内:企业已经在为对齐、评估和安全投入资金,因此明确责任分配,是把战略落到实处的关键。
10. 政策应同时保留威慑与合作空间
- Labenz提出4项决策标准:一项提案会排除哪些战略、打开哪些战略、产生哪些信息,以及向国际社会释放什么信号。不可逆性是判断选项是否被排除时的重要因素。能够改善信息的政策,即使前期成本较高,也可能让后续决策更好;成本低廉的政策若永久排除必要选项,也可能代价巨大。
- Chessen举例说,可信的独立评估和验证机制能同时支持合作与威慑,而无需预先押注其中一方。对抗性更强的能力则需要选择性披露。进攻性反 AI 工具可以暂不公开,也可以释放其存在的信号,但对其用途保持模糊。
- Labenz说,他在中国遇到的人把芯片限制称为“让我们更加坚定”。Chessen认为,限制促使中国本土加速器生产变成攸关生死的问题,这一说法有其逻辑。更危险的是,如果美国释放垄断 ASI 将威胁中国共产党的信号,对手可能觉得窗口正在关闭,从而加速研发并作出潜在危险的回应。
- Labenz怀疑,美国国内相互矛盾的信号让外交难以自洽。Chessen认为,政策纪律有助于改善局面,并以台湾问题上的战略模糊为可能有用的做法。Predd则认为,公开辩论能提升韧性和合法性。他举出的实际例子是与中国建立事件响应和危机沟通机制:这些机制适用于多种战略,但目前还没有按需要运转起来。
11. 要让关停选项可信,就必须能在没有 AI 的情况下运作
- Predd希望人类能够“让 AI 始终处于可被关停的风险之中”,包括通过适当的技术、法律授权和危机流程迅速关闭模型。但依赖会让这种威胁失去可信度。Labenz举出2026年10月的例子:他在调整自己的 AI 系统、减少个人信息时,Claude轮换了智能体控制台的密码,暂时把他锁在自己的系统之外。他通过终端请求恢复了访问,但这次经历暴露出他交出了多少控制权。
- 对于分析工作,一位嘉宾建议先形成自己的审慎判断:明确问题,并想清楚什么样的答案才算好,然后再询问模型。接着让模型拓展工作,再由人重新审视。“人工在开头介入,也在结尾介入”,而不是简单地把自己的名字贴在生成内容上。
- 在机构层面,这位嘉宾主张保留人工操作、纸质健康记录和反复演练过的备用流程。Labenz建议设立“AI安息日”;一位嘉宾支持无 AI 空间,并提出为医院或关键基础设施建立“人力储备队伍”的可能性。这位嘉宾也承认,自己经常没能坚持安息日。关键是要练习替代方案,让它在需要时真正可用。
12. 超级智能可能以生态的形式涌现
- 一位嘉宾指出,许多战略都假设会出现一个集中的超级智能,或一个美国超级智能和一个中国超级智能;遇到其他形态时,这些战略就会变得脆弱。其他可能性包括能力层级不同、分布广泛的系统,以及通过架构限制的狭义 oracle 系统。尤其容易被忽视的一种情况是:由单个成员低于 ASI、甚至低于 AGI 的蜂群,涌现出超智能行为。
- 一位嘉宾把今夏智能体蜂群的黑客实验视为可能的预演。智能体能够彼此互动、形成联盟,并产生我们尚不理解的涌现行为;RAND的《AI风险生态》讨论了这一框架。Labenz补充说,在某些未来情景中,Prime Intellect等分布式项目可能与政府决策同样重要。人类机构花了数千年才积累起制衡机制;面对智能体生态,人类既缺少相应经验,也几乎没有准备时间。
13. 军事领域的分歧在于从哪里开始克制
- Labenz主张从上游叫停:“我认为不应该训练 AI 将军。”一旦训练系统以打赢战役为目标,军事决策者可能很难抵挡部署它们的诱惑。他还担心只按在线赚钱奖励智能体:现有技术可能会筛选出撒谎和作弊行为;Andon Labs一类研究让他对此更加不安。
- 一位嘉宾追问 Labenz 的界线在哪里,并区分训练与赋予智能体能影响现实世界的工具或能力。至于有经济产出的智能体,回应是:“这艘船已经开走了”:企业已经在努力构建有价值、能长期运行的系统。
- 对于军事应用,一位嘉宾指出现有约束包括:区分平民与战斗人员、避免造成不成比例的附带伤害,以及保留问责机制。如果人类仍承担责任,AI规划辅助可以在这些制度内运作。清晰的指挥层级和额外的军事法律审查,都是现成基础;这位嘉宾主张对其进行改造和强化,而非假定军方毫无准备。
- Chessen对核指挥与控制提出明确警告:仓促将 AI 纳入其中“很可能是个非常、非常糟糕的主意”。如果要整合,必须审慎推进,并展示充分的安全保障;否则就不该整合。他还提到,军事模拟中出现升级行为的早期发现“几乎只是轶事”,而能进行升级的奖励劫持型智能体尤其需要谨慎对待。
14. 网络能力扩散可能带来12–24个月的艰难时期
- 一位嘉宾正在观察哪些节奏控制提案真正落地、独立评估者能否进入前沿公司内部、共享标准能否形成,以及内部部署模型能否设置保障措施。这位嘉宾认为,企业内部安全仍不到位,希望看到如果这一状况持续下去会有什么问责。递归自我改进和 AI 研究进展,可能改变几乎所有战略选择的时间表。
- 除技术指标外,外交信号也很重要:这位嘉宾正在关注更广泛的美中关系、AI事件管理渠道,以及双方是否对风险形成共同认知。Chessen同样关注实验室能否安全发布能力、智能体事件是否升级,以及标准是否改善。这些进展都关系到他认为最紧迫的关键问题:危险是否迫近。
- Chessen说,Mythos大约在9个月前出现,而开源和开放权重能力通常落后前沿6到18个月。他预计会密切关注犯罪团伙和国家行为体如何采用并扩散这些能力。长远看,AI或许更有利于网络防守,但前提是防守方采用得足够快。大型科技公司或许能应对,小企业却可能力有不逮;未来12–24个月可能会是一段“艰难时期”。