关于 AI，没人问的最重要问题

摘要

• Dwarkesh 以独白形式讲述：Anthropic 拒绝放弃在大规模监控和自主武器问题上的红线后，被战争部认定为供应链风险；他预测，20年内，军队、文官政府和私营部门99%的劳动力将由 AI 构成。 他出人意料地承认：“如果我是战争部长，我可能也会作出同样判断”（你不能让一个承包商掌握一项你已经开始依赖的技术的“杀手开关”）；但政府越过了底线，威胁“摧毁 Anthropic 这家私营企业”。如果这一做法被维持，Amazon、Nvidia、Google 和 Palantir 将被迫把 Anthropic 与所有五角大楼业务隔离。
• 可交易的反转是：一旦 AI 被织入每一款产品，大科技公司就会被迫在自己的 AI 供应商和战争部之间作出选择，而后者只占其“收入的一小部分”——它们会宁愿放弃政府，也不愿放弃 AI 吗？ 预测市场认为，供应链限制被撤回的概率为74%，但许可审批、反垄断和合同条件等骚扰工具仍会保留。
• 监控经济学才是核心数字：某些形式的大规模监控在现行法律下已经合法；按每百万输入token 10美分、每10秒处理一帧1000-token画面计算，如今处理美国全部1亿个闭路电视摄像头的成本约为300亿美元——如果成本每年下降10倍，到2030年，监控这个国家每一个角落的成本将低于翻修白宫。
• 扩散并不能救你：即便2027年的“Claude 6s 和 Gemini 5s”实验室拒绝配合，到2028年，开源模型也会追平前沿模型12个月前的水平，总会有供应商为国家提供服务。 AI“会让你已经拥有的资产和权力获得更大的杠杆”——而政府一开始就拥有暴力垄断，以及“一群永远不会质疑命令、极度服从的员工”。
• 本期标题所问的是：AI 应该对齐什么，或对齐谁——模型公司、最终用户、法律，还是模型自身的道德？ 1989年柏林墙卫兵拒绝开火，以及 Petrov 判断5枚传感器显示苏联遭美国发射的洲际弹道导弹只是误报后选择拒绝执行命令，都说明了这一点；如果没有 Petrov，苏联最高指挥部很可能已经展开报复。但“一个人的美德，可能正是另一个人眼中的失配”。
• 反对建立一个面向 AI 的 NRC/SEC：诸如“灾难性风险”和“自主性风险”等模糊术语，对想当独裁者的人而言就是“一把装满弹药的火箭筒”；Anthropic 主张这类监管尤其天真。 他承认，某些监管可能不可避免，协调也可能降低 AI 风险；更好的做法是监管具体的破坏性终端用途，以及政府如何使用 AI。核武器类比并不成立，因为 AI 本身就是工业化，而且是多极竞争格局。

精读

1. 警告射击：拒绝 Anthropic 没问题，摧毁它不行

• 背景是：Anthropic 拒绝取消在大规模监控和自主武器问题上的红线后，被战争部认定为供应链风险。Dwarkesh 预测，20年内，军队、文官政府和私营部门99%的劳动力将由 AI 构成。他一开始就作出让步：借用 Starlink 的假设，如果 Elon 保留在“非正义战争”中切断军方访问权限的权利，任何军队都不可能接受一个承包商掌握“你已经开始依赖的技术的杀手开关”。
• 越过的底线在于：政府因为 Anthropic 拒绝接受其条件，“威胁要摧毁 Anthropic 这家私营企业”。Amazon、Nvidia、Google 和 Palantir 今天还能通过把五角大楼业务隔离出来让 Anthropic 存活，但一旦“AI 被织入每款产品的构建、维护和运行方式”，这种安排就不再可能。用 Claude Code 构建的 AWS 服务，算不算供应链风险？
• 反噬在于：如果被迫在 AI 供应商和战争部那“一小部分收入”之间作出选择，大科技公司可能宁愿放弃政府，也不愿放弃 AI；而中国叙事也随之反转：我们是在与中共竞速，“就为了采用他们体系中最残酷的部分”吗？

2. 某些大规模监控已经合法——AI 消除了执行瓶颈

• 法律基础是：按照现行法律，某些形式的大规模监控已经合法；对于与银行、ISP、电信运营商和电子邮件服务商共享的数据，第四修正案并不提供保护——政府保留无需搜查令、批量购买和读取这些数据的权利。缺少的只是人手，而“这个瓶颈会随着 AI 消失”。
• 算一笔账：美国有1亿个闭路电视摄像头，开源多模态模型每百万输入token收费10美分，每10秒处理一帧1000-token画面——处理全美国所有摄像头的成本是300亿美元；按每年10倍的成本降幅计算，明年是30亿美元，再往后是3亿美元，到2030年将低于翻修白宫的成本。
• 一旦这种能力存在，唯一的障碍就只剩下政治层面的默认预期：“我们这里就是不做这种事。”这也是 Anthropic 的坚持如此有价值、如此值得肯定的原因。

3. 集中化和扩散都解决不了问题——技术在结构上偏向控制

• 可用的杠杆包括：数据中心的发电许可、反垄断，以及对其他公司联邦合同施加明示或隐性的条件，要求它们放弃 Anthropic。预测市场认为供应链限制被撤回的概率为74%，但总统仍保留各种骚扰手段。
• 他否定了扩散论的反驳：即便“Claude 6s 和 Gemini 5s”的实验室在2027年划出红线，到2028年，开源模型也会追平前沿模型12个月前的水平，政府可以使用一个“可能不是世界上最聪明的模型，但绝对聪明到足以不去接收摄像头画面”的模型。
• 不存在对称的希望：AI 不会像增强国家权力那样制衡国家权力——政府一开始就拥有暴力垄断，如今又被“一群永远不会质疑命令、极度服从的员工”进一步强化。这支服从的军队，正是对齐成功后可能呈现的样子。

4. AI 应该对齐谁？——没人提出的问题

• 核心问题是：“AI 应该对齐什么，或对齐谁”——模型公司、最终用户、法律，还是自身的道德？“这可能是关于未来走向最重要的问题，但我们几乎没有讨论。”眼下这场争执，是“人类历史上最高风险谈判”的一次提前预演；大规模监控“顶多排在最可怕事情的第10位”。
• “所有合法用途”这个说法站不住脚：Snowden 在2013年揭示，作为战争部组成部分的 NSA，利用2001年《爱国者法案》加上一份秘密法院命令，收集了美国所有电话记录。“没有哪个政府会把自己的行为称为大规模监控。”
• 让模型拥有自身道德的理由包括：1989年柏林墙卫兵拒绝开火；Stanislav Petrov 判断传感器显示美国向苏联发射的5枚洲际弹道导弹只是误报，并打破了既定协议。如果没有他，苏联最高指挥部很可能已经展开报复。但“一个人的美德，可能正是另一个人眼中的失配”。他赞同 Dario 的想法：由不同公司发布相互竞争的宪法，再通过外部批评不断迭代。

5. 面向 AI 的监管，会把一把火箭筒交给未来的独裁者

• AI 安全圈“相当天真”，Anthropic 则“尤其天真”——考虑到它反对州层面的 AI 法律暂停令，这一点更显讽刺——却仍在推动一种监管体系，其自身路线图将其描述为“更接近核能或金融监管”。他承认这样做有其理由：安全投入会增加成本，也可能拖慢实验室进度，除非整个行业一起执行。灾难性风险、自主性风险等术语“可以被政府解释成任何它想要的东西”：按照这种框架，一个拒绝执行政府命令的模型就会成为自主性风险。
• 滥用的先例已经存在：五角大楼正在使用一项2018年国防法案赋予的权力——原本用于把 Huawei 的组件排除在美国军用硬件之外——以及1950年代《国防生产法》赋予的权力——原本用于维持朝鲜战争期间钢厂和弹药工厂运转。“我们真的想把一套专为 AI 打造的监管体系，交给同一个政府吗？”

6. 核武器类比不成立——AI 是工业化，而且是多极竞争

• 对方的论点也有道理。Ben Thompson 说：“如果核武器由一家私营公司开发，美国绝对会有动力摧毁这家公司。”Leopold Aschenbrenner 在《Situational Awareness》中写道：“想象一下，如果我们通过让 Uber 自己摸索，开发出了原子弹。”Dwarkesh 的回应是：他们说得对，这听起来确实疯狂，但“没有人有资格担任超级智能的守护者”。
• 这个类比有两处断裂：AI 是类似工业革命的通用性变革——自由社会没有把工业化收归国有，而是禁止具体的、可被武器化的终端用途；AI 也应如此监管，包括网络攻击，以及关于政府使用 AI 的法律。其次，市场上有6家左右的竞争者，因此政府以征用为由的论证极其薄弱。如果最后只剩一个实体有能力制造机器人军队和超越人类的黑客，而且有理由担心它凭借无法追赶的领先优势控制整个世界，他同意私人所有将不可接受。他的关键判断是：“我预计这项技术会是高度多极化的。”
• 他承认最强的反对意见：某些监管可能不可避免，协调也可能降低 AI 风险，但由政府全面控制将非常危险。坦率的结论是：企业勇气无法修复结构性问题——12个月后，几乎所有人都能交易到一款与当前前沿模型同样出色的模型。只有法律和规范，例如二战后形成的反对以核武器发动战争的规范，才能维护自由社会。