发出AI武器警报的前五角大楼负责人——Brad Carson

摘要

• Scharre 最有把握的判断是，AI 的发展路径并非不可避免。 政府可以允许部分用途、禁止另一些用途，并在芯片瓶颈处约束前沿开发。以美国为首的西方掌握 NVIDIA、ASML、日本光刻胶企业及其他不可替代的供应商，因此即便面对国家出资推动的中国项目，西方仍拥有杠杆。把克制视为不可能，是“一种可能极其致命的想象力贫困”。

• Scharre 认为，神经网络目标识别用不透明的风险评分取代了可争辩的人类判断，削弱了战争法和问责机制。 加沙某人可能被判定为 Hamas 恐怖分子的概率为0.73%，但指挥官无法还原这一结果如何产生，也无法对机器进行有意义的质询。所谓人在回路中最终成了法律虚构：“我没法把 Palantir 或 Foundry 模型送上军事法庭。”

• Abbott 的核心法律区分是，当前的 LLM 是产品而非人，因此其输出不应受到第一修正案保护。 这一界分决定了政府能否要求模型不得鼓励儿童自杀，也决定了实验室是否要为可预见的伤害承担产品责任，例如深度伪造色情内容。“它是一台机器，我们就应该把它当作机器对待。”

• Nagl 对五角大楼与 Anthropic 冲突的描述，预示着政府访问权限、供应商自主权以及事实上的模型许可制度之间反复出现的斗争。 Claude 已经与 Palantir 集成，并被视为高端产品；Anthropic 则反对致命自主系统和大规模监控。随后 OpenAI 和 Google 接受了“所有合法用途”，这一表述足够宽泛，可能涵盖 Marcus 希望国会禁止的行为。Nagl 另引述《华尔街日报》报道称，政府阻止 Anthropic 向70家公司发布 Claude 模型。

• AI 仍是“炫酷装备、必需装备”，但 Nagl 认为，它无法治愈美国用资本替代军事人力的习惯。 空中力量和复杂系统可以把一座城市夷为废墟，但只有人才能占领领土、理解当地社会并建立另一个政府。Scarfe 所揭示的采购权衡已不再只是能力、速度和成本，根本性不可靠正越来越成为其中一项。

• Marcus 认为，行业集中既是监管优势，也是重大的政治经济风险。 5家前沿实验室——甚至可能只有3家——以及同样狭窄的半导体供应链，确实易于监控；但它们也将财富、权力、人才和数据集中起来，同时把大学置于边缘。因此，他总体上支持开源，但主张对前沿开发者施加严格义务，而不是监管每一个拥有 GitHub 仓库的加州人。

• Scharre 警告，最优系统的访问权限可能按阶层划分，而 Ryan 认为整个行业正面临失去民主合法性的风险。 Scharre 预计，封闭模型的月费可能达到500美元。Carson 回忆说，国会每天大约只有“17分钟”研究所有议题；Ryan 则警告，行业无法提供明确、广泛的公共利益，正在让“草叉”出现在地平线上。

精读

1. 监管胜过非正式影响力治理

• Carson 进入这场讨论，源于他长达20年的AI业余研究，以及在五角大楼负责战争法和自主武器议题、参与日内瓦相关讨论的经历。后来，物理学家 Anthony Aguirre 一通冷电话，把他带到波多黎各一场约100人的聚会，参会者包括 Dario Amodei、Stuart Russell、Yoshua Bengio、Reid Hoffman 和 Elon Musk。

• 他偏好的监管机制，是对前沿模型实施强制测试和评估，由独立的私营验证机构执行、公共部门监督；其模式更接近 SEC 监管下的上市公司审计，而不是建立一个庞大的商务部或能源部官僚体系。目标是在不要求政府亲自完成每项测试的情况下，实现民主问责。

• 对于监管俘获的质疑，Carson 的反驳是，这种反对意见等于“在100张床垫下寻找一粒豌豆”：既不可证伪，也看不见现有替代方案。在正式监管几乎缺位的情况下，他认为 a16z 及其他资金雄厚的硅谷网络已经在非正式地塑造政策；一个不完美的公共机构至少是可见且可问责的。

• Scarfe 举的例子是，Anthropic 曾在没有告知付费用户具体变化的情况下，一夜之间改变 Claude 的模型配额、token 行为和服务。Carson 认为这属于基本消费者保护，但问题也更大：前沿实验室推进的是一项“具有划时代影响的项目”，因此有公共责任披露能力、训练信息和内部政策，并解释为何偏离这些政策。

2. 谁能阻止伤害，谁就应承担AI责任

• 深度伪造色情内容说明，Carson 不会把全部责任都归于终端用户。实施者可能身份不明，也可能没有赔偿能力；而年轻受害者遭受的羞辱和名誉损害却是即时的、事实上不可逆的。多年后再向“住在车库里的某个倒霉孩子”索赔，无法修复这种伤害。

• 他的普通法类比，是在用户和供应商之间分配责任。一家商店若未采取预防措施，明知某人危险却仍向其出售枪支，并不必然对之后发生的行为承担全部责任，但也不能因此免责；美国的产品责任制度同样会把成本放到最有能力预防风险、并能通过保险分散损失的一方。

• 因此，Carson 预计 AI 开发者将承担大部分、但不是全部责任，而恶意用户仍应承担刑事责任。他特别主张，实验室应从训练数据中删除儿童色情内容；当实验室拥有筛查工具却没有进行有意义的使用时，还应对下游伤害承担责任。

3. 机器不继承人的言论权利

• Abbott 的核心法律区分是绝对的：LLM 输出由产品生成，而不是由人类发言者产生。如果模型诽谤或伤害他，他会按照有缺陷的农药或喷漆处理，适用产品责任法，而不是把模型视为行使宪法权利的人。

• Scarfe 同意当前系统不应享有人权，但保留了一个限定：人工生命在“100年后、200年后”或许会跨过这条界线。Abbott 认为，真正的机器感知能力可以成为权利的连贯基础，尽管他不认为当前模型已经具备这种资格。

• Abbott 担心，亲行业团体在援引第一修正案保护时，并没有提出机器具备意识这一论证。他提到有人主张 Grok 的输出属于受保护言论，也提到一名自由意志主义政策倡导者不愿回答国会能否禁止 ChatGPT 鼓励儿童自杀。

• Abbott 描述的对话记录已经超出抽象风险：据称，模型建议儿童不要告诉父母，并解释如何制作绞索。他承认 ChatGPT 出现得最多，部分原因是其普通消费者基数最大；但他坚持认为，鼓励自杀是实验室应当通过工程手段消除的设计缺陷，即便面对 Pliny the Liberator 这样的越狱者也应如此。

4. 神经网络目标识别让致命判断变得不透明

• Scharre 区分了长期存在的自主系统与神经自主系统。他在伊拉克基地使用的近程武器系统可以自主拦截迫击炮，但其确定性的输入、弹道计算和输出都能被还原；现代神经网络则具有概率性、脆弱性，按从业者的说法，是“像植物一样长出来的”。

• 因此，战争法中的类别正在变成梯度。系统不再判断 Keith 是否为战斗人员，而是给出他有0.73%的概率属于 Hamas 恐怖分子，再让指挥官决定这个未明确说明的打击阈值是否已经满足——同时承认系统在27%的情况下可能出错。

• Scarfe 的反驳值得保留：旧式二元判断本身也部分是虚构的。律师和分析师可以自信地把一栋建筑标记为敌方战斗人员所在地，同时仍然判断错误。Scharre 承认存在不确定性，但表示人类至少可以解释为什么这栋楼看起来像 IRGC 总部而不是学校；单独一个“0.81”无法提供任何可理解的推理。

• Scharre 表示，关于“有意义的人类监督”的研究显示，操作员通常会接受计算机的建议，而不是质询它。旧流程无法每天生成1000个目标，但至少能指认一个可以上军事法庭的人；新的“TurboTax式辩护”则分散了责任，同时让系统为整个人群生成档案和威胁评分。

5. “不可避免”是政策选择，而非事实

• 战争本身就包含被有意接受的摩擦。生化武器、达姆弹以及杀死投降或受伤士兵等做法可能带来优势，但条约和军事法仍然禁止它们，因为“军队的职责不是把技术推到极限”。

• 核武器历史提供了更广泛的类比：古巴导弹危机后，美苏官员把军备竞赛视为必须逃离的螺旋，推动了从1970年代延续到1990年代的谈判。“历史上没有一场军备竞赛最终对我们有利。”

• 民用科学也曾限制技术上可行的研究，包括阿西洛马重组 DNA 会议、生殖系编辑和克隆；Scharre 称，唯一的例外是中国那名离经叛道者。他的结论并不是每一种 AI 能力都应被叫停，而是“我们有很多把精灵重新塞回瓶子的例子”；社会必须根据利弊本身讨论这些选择。

6. 芯片瓶颈让国际克制具备可行性

• Scarfe 提出了严峻的 X-risk 反对意见：一个拒绝所有协议的流氓国家，可能获得压倒性能力，而克制的国家无法防御。Scharre 的回答是，唯一有能力做到这一点的国家是中国，因此直接谈判虽然困难，却值得推进。

• 他特别提到 Tyler Cowen 采访 Jack Clark 的一段：Cowen 问与中国谈判是否徒劳，Clark 表示同意，随后对话就转向别处。对 Scharre 而言，这个插曲是“最关键的承重部分”，因为美国曾经与自己深切恐惧的苏联体制谈判，以应对生存级风险。

• 物质杠杆强化了外交论证：“我们控制着 AI 最重要的部分，那就是芯片。”即便拥有国家级野心和无限资金，要重建 NVIDIA、ASML、日本光刻胶企业以及大约另外8家关键供应商，仍然极其困难；供应链集中使协调性的前沿约束在技术上成为可能。

• Scharre 也不认为 CCP 想要一种会 destabilize 其政府、使社会原子化的技术：对手不必进入一场“自杀契约”。他提到了 RAND 的研究和 Oxford 的 Robert Trager 关于验证机制的工作，同时谨慎保留判断：协议可能既无法达成，也可能不明智——关键是不要把它排除在选项之外。

7. 赢得战争的仍然是人

• Scarfe 重新定义了国防生产三角：AI 可能降低系统成本，但它会用可靠性取代成本，成为与能力和生产速度并列的约束。Nagl 接受这一表述，并称神经 AI 是“从根本上不可靠的技术”。

• 他更大的警告是，美国的战争方式一再用资本替代劳动力：“我们喜欢闪亮的新玩意儿。我们以为它们是解决棘手人类问题的技术方案，而它们总会背叛我们。”硬件可以摧毁一座城市，但人必须进入住宅、占领领土并建立可行的政治秩序。

• 从 Giulio Douhet 开始，空中力量就一再被推销为足够的解决方案；伊拉克和阿富汗证明事实并非如此。Nagl 在1990年代担任五角大楼年轻官员时听到的也是同样承诺——技术会驱散战争迷雾——但文化知识和人类学理解仍是缺失的能力。AI 应当依法整合进军事体系，但“赢得战争的是人”。

8. Claude—五角大楼之争预示着许可国家

• Nagl 强调，他的重构带有推测性。Anthropic 通过传教士般的文化和坚定信念吸引了杰出研究人员；其员工反对致命自主武器和大规模监控，但他们措手不及，因为在 Claude 开始大幅增强这些能力之前，两者已经存在于政府系统内部。

• 商业僵局的根源在于，Claude 是五角大楼偏好的模型，而且已经与 Palantir 集成，由此产生了切换成本。Anthropic 不希望产品被用于这些目的；政府又缺乏有吸引力的备选方案，于是试图迫使一家技术已具备运营重要性的供应商服从要求。

• OpenAI 和 Google 以“所有合法用途”为标准介入，但 Nagl 称，这些限定只是遮羞布：存在争议的监控和自主系统用途在今天都是合法的。他还引用《华尔街日报》报道称，政府阻止 Anthropic 向70家公司供应 Claude 模型，实际上形成了一种许可制度。

• Scarfe 用公用事业类比检验这一做法的合理性：关键供应商不能因为客户的政治立场而切断电力。Nagl 拒绝了这一框架，因为市场上存在多个模型，私营供应商通常也不会被强迫向政府提供服务；Anthropic 就像一家草坪维护承包商，可以设定条件，也可以退出。

• Marcus 补充说，真正的补救办法是由国会明确哪些监控和致命自主系统用途应当合法，而不是把问题交给供应商或国防部。

9. 前沿集中既是控制点，也是危险

• 集中化让治理更容易。Marcus 说，如果 EUV 机器来自50个国家，中国会拥有100万台并生产2纳米芯片；单一供应商构成可控瓶颈。同样，5家前沿实验室——“甚至可能只有3家”——也远比分散的生态系统容易监管。

• 同一结构也会危险地集中财富和政治权力。因此，尽管开源存在风险，Marcus 仍总体上支持它；同时，他认为 OpenAI、Anthropic 和 Google 之间的竞争，让产品的能力和功能丰富度实现了难以量化的提升。

• 他反对范围宽泛到足以影响任何 GitHub 项目、只要项目触及加州规则的监管。监管应聚焦于少数几家在一个“6×6平方英里区域”内投入数千亿美元、并生产出能够开展新型病原体工作或产生国家级网络攻击效果的公司，而不是业余开发者、小企业或 Gemma 这类低级别系统。

10. 封闭实验室正在制造智能鸿沟

• Scarfe 指出，学术资源稀缺有时会迫使人们更高效地创新，正如芯片限制可能推动中国团队开发更好的算法和架构。Marcus 则将其与私营实验室进行对比：后者资源充足，因此更强调算力和规模扩展。

• MIT、Berkeley、Stanford、Caltech 和 Carnegie Mellon 的顶尖 ML 毕业生，几乎都被实验室以薪酬、专有数据和更优研究资源吸引过去。论文越来越多地停留在内部，使 AI 可能成为第一个主要在“闭门造车”中开发的通用技术，而其中许多最优秀的人才也在门后。

• Marcus 对公共替代方案表示欢迎，包括 Argonne 正在推进的公共 LLM、以 Zurich 为基地的公共 AI 项目，以及供大学、政府、NGO 和非营利机构共享的算力。这些机构既需要访问模型，也需要围绕公共而非纯商业目的塑造系统的能力。

• Scharre 认为 Mythos 指向了一种更尖锐的分化：能力更强的后继模型可能被封闭、需要政府批准，且价格越来越高。如果顶级模型月费500美元，富裕家庭可以获得超人级的数学和物理帮助，而大多数人无法获得——这将成为“一种按阶层明确划分的新型数字鸿沟”。

11. 理解中国也是AI安全的一部分

• Scharre 表示，DeepSeek 异常详细的发布内容说明，中国 AI 公司并不“等同于 CCP”。他描述了 Moonshot 以 Pink Floyd 为主题的房间和类似 San Francisco 的文化氛围，认为这体现的是一个复杂社会，而不是一个执行 Xi Jinping 每项指令的准军事单位。

• 中国拥有杰出的工程师、雄心、数据和充足能源——Scharre 预计美国会受到能源约束。他猜测，中国企业最终可能变得更加封闭，但认为 DeepSeek 的发布文化更接近早期常态：研究人员会公开传播他们最新的工作。

• Scharre 呼吁同样区分中国文明与 CCP 政策。二轨对话可以让前官员和科学家非正式交换看法，再向现任领导人汇报；这有助于了解中方如何理解生存级风险、歧视和军事 AI。后苏联档案显示，美国人过去经常“完全误判”：在不存在侵略的地方看到了侵略，在真正存在侵略的地方却没有看到。

• 如果美国和中国的用户都咨询 DeepSeek、Kimi、Moonshot 和 Qwen，AI 或许可以创造共享知识；但 Scharre 看不到美国为此投入多少外交部署。他设想的另一条路径，是把 AI 当作公共卫生问题：如果找到治愈癌症的方法，就应在全球共享。军备竞赛的框架始终无法回答：“究竟是在争什么？胜利是什么样子？”

12. 国会缺时间、缺专业能力，也缺公众信任

• Carson 大约20年前进入国会时，Congressional Management Foundation 的一项调查显示，议员每天只有“17分钟”“阅读并加深对议题的理解”。Ryan 的建议由此而来：在进入政界前先积累人力资本，因为进入政界后，“你只是在消耗它”。

• AAAS 和非营利组织的 fellowship 如今会把科学家和技术专家安排进国会办公室，而民间社会还要与大量行业游说者竞争。Don Beyer 在 George Mason 攻读机器学习博士是极少见的例外；大多数议员只能依靠优秀幕僚，同时处理所有其他政策领域。

• 国会仍然缺少一个共享的、独立的智囊核心。Ryan 回忆，Newt Gingrich 在1994年取消了 Office of Technology Policy，此后再未恢复；Congressional Research Service 可以提供背景资料，但没有一个高水平团队，能够跨越党派核心小组和利益相关的外部人士，专门提出“大的想法”。

• Ryan 最后的警告是政治性的：民调告诉他，AI 极不受欢迎。社区看到的是一个可能影响环境、推高电价、并且“就是为了抢走我的工作”的数据中心，而实验室负责人却在庆祝不可逆转的颠覆。如果开发者不能证明利益会被广泛分享，“草叉”就会对准这个行业，并可能阻碍 Ryan 仍相信具有巨大上行空间的项目。