摘要

AI Futures Project 的新情景「AI 2040：Plan A」刻意将预测与建议混在一起：先暂停6–12个月，建设验证基础设施；随后促成美中协议，缓慢推进至大致相当于顶尖人类专家水平的 AI，并在2030年代维持这一水平，直到2040年才达到超级智能。核心旋钮是「暂停在你能够可靠控制的最高水平」；与悲观的 AI 2027 不同，「如果这被超验自证式地传播开来，我想我们会相当满意」。
AI 2027 在已经揭晓的量化指标上，目前大致跑在预测速度的75%；Thomas Larsen 表示，现实偏离预期的程度比他想象得小，这「以一种糟糕的方式让我感到意外」。收入趋势和其他现实指标「基本贴近预期」；看似疲弱的0.17%软件研发增益，其实是测量口径造成的假象：报告发布时高估了基线，并非进展落空。
决定时间线的里程碑是：「AI 公司宁可解雇人类，也不愿解雇 AI。」 Larsen 认为，可验证与不可验证的任务之间并不存在二元分界——一家独角兽初创公司的10亿美元估值「是关于现实世界的可验证事实」，只是验证周期长、成本高；因此 RL 会持续向外扩展，直到 AI 覆盖「人类能够完成的一切」。
这套经济学判断是：经济本来就是、也一直是一个自我复制系统，而全机器版本的倍增速度会远快于当前约20年的翻倍周期。 即便暂停在与人类相当的 AI 水平，也会出现更便宜、更快、每年翻倍而非用20年繁衍一次的「云端同事」；Thomas Larsen 给出的极限情形是：「至于世界其他地方发生了什么没人知道，但 Anthropic 已经把月球拆了。」
Plan A 的透明度制度刻意对前沿实验室的股权价值不友好：公开全部核心训练配方，「会大幅压低它们的估值」，因为 Microsoft 或 Alibaba 可以据此追上来——「这是设计目标，不是漏洞」。目标是让 AI「走向商品化，而不是被垄断」；压低垄断租金、主动削弱万亿美元级集群投资的动力，正是方案的一部分。至于这会把技术送给中国的质疑，回答是通过利益交换来解决（例如换取更有利的算力分配），同时考虑到实验室安全性很差，中国大概率本来也会通过间谍获得算法。
随着模型变强，对齐问题不是变容易，而是变难：控制措施本身携带着「一枚定时炸弹」，而核心失效模式是无声发生的。 模型已经能在 Redwood Research 的控制评测中识别出自己正在接受评测；Thomas Larsen 警告说，「我们极容易陷入这样一种局面：AI 实际上并未对齐，但你不知道，因为在你能观察到的一切层面，它们都做对了」——行为评测不够，必须先取得白盒可解释性突破，才能把规模扩展到可控范围之外。
与怀疑派的根本分歧，归结为一个参照系问题：「AI 更像电力或飞机，还是更像云端的人类？」 Thomas Larsen 将递归式结构自适应视为自己的触发线：「那对我来说就结束了……那不是普通技术」；Tim Scarfe 认为这听起来接近他对递归自我改进的看法，而 Daniel Kokotajlo 表示，即使今天彻底停下（「Plan S」），「也会比默认轨迹更好」。

精读

1. 从 OpenAI 内部走向公开情景写作

Kokotajlo 讲述 AI Futures Project 的起点：他在 OpenAI 负责评测、预测和治理备忘录，但「逐渐对领导层感到失望」，也对「行业内部拥有的信息量与外部拥有的信息量之间的差距……以及你在内部被允许说什么、却真正想说什么之间的差距」感到失望。他离开公司的明确目的，就是「把内部人士看到的未来告诉全世界」。
AI 2027 在两个维度上都超额完成目标：这次认识论演练让团队学到的东西超出预期，读者数量也达到了他们预测的90分位结果。Larsen 是新报告 Plan A / AI 2040 的主要作者，也参与了 AI 2027 的共同撰写。

2. AI 2027 正以约75%的速度推进——这不是好消息

Larsen 坦承了一个让人不适的判断：「AI 2027 的进展比我发布它时预期的更贴近原定轨迹……这以一种糟糕的方式让我感到意外。」收入趋势和其他现实指标都接近情景设定的路径。
两篇后续博客文章将所有已经揭晓的量化预测与现实进行对照，结论是整体速度约为情景设定的75%——仍在轨道上，只是略慢。看似惨淡的软件研发增益数字其实是口径问题：他们在发布时高估了增益水平，因此 coding agent 带来的真实提升，在现实从更低的基线一路升至并超过假定起点的过程中，表现成了停滞。

3. 兵棋推演是「现实在对你大喊」

Larsen 借用了军事兵棋推演的框架：你永远不可能预测每场战斗的确切顺序，但「如果你完全想象不出初始计划如何可能带来胜利，那么真正成功的概率就极低」。他的警示案例是中途岛：日本人做过兵棋推演，却不断输掉，于是作弊——让已经沉没的航母复活、重新掷骰子。「这就是现实通过兵棋推演的机制对他们大喊：嘿，你们的计划糟透了。」
团队将这种方法称为「情景审查」，已经做过约100场严格意义上的兵棋推演（10人、4小时），其中约10场针对 Plan A。一个反复出现的失败模式在两场独立推演中都浮现出来：一位已经签署对华协议、却面临选举失败的总统，为了在选举前实现超级智能而加速时间线，「这样掌权的就是我，而不是我的继任者」——「这是一个我们在游戏发生前根本没想到的政治因素」。

4. 预测与建议——以及超验自证的担忧

与纯粹预测的 AI 2027 不同，Plan A 将两者混在一起；Kokotajlo 承认这种结构并不清晰：方案本身——几大支柱、对华协议、公民分红——属于建议，随后发生的大多数后果则属于预测。如果重做，他们会设置一条中央的纯预测分支，并明确标出建议介入的节点。
Larsen 将自我实现预言称为「我们对 AI 2027 最大的担忧之一」：随着人们越来越意识到 AGI 的重要性，他们会想，「我想成为掌控 AGI 的那个人……所以我要向那个目标冲刺」——从历史上看，这「是现有竞赛的一大驱动力」。Plan A 则反过来：「如果它被超验自证式地传播开来，我想我们会相当满意。」
Kokotajlo 的方法论规则是：超验自证确实存在，但被高估了——「粗略来说，我们应该专注于准确预测未来……如果你一开始就试图引导未来，就会陷入混乱，基本上变成一厢情愿」。

5. 观感转变：RL 算力赢下了具身化之争

Scarfe 形容对 AI 持怀疑态度的 MLST 阵营过去提出过的一系列反对意见：图灵机、符号主义与神经符号主义、意识、物理实例化——「但 AI 还是一直在变强」。Larsen 借 Geoffrey Hinton 的个人基准解释了这种观感转变：Hinton 曾用 AI 能否讲出有趣笑话来判断进展，模型在 GPT-3 与 GPT-4 之间的某个阶段跨过了这条线；每个人都有一个自己直觉上会追踪的技能，而模型不断越过这些门槛。
Scarfe 对早期争论的判断是，大规模 RL 算力在没有物理具身的情况下提供了代理行为；Larsen 同意，这些系统需要「海量 RL 算力」，但「不需要物理具身」。

6. 一切都可验证——只是成本梯度不同

Scarfe 仍然怀疑：爬山式优化在「客观、半明确的领域」有效，但进入「模糊地带」后还缺少某种东西——产生规格定义的品味。Larsen 的反驳是：「客观可验证与不可验证之间其实并不存在真正的二元分界」——一家10亿美元估值的初创公司是可验证的，只是验证周期长、成本高。RL 会从便宜的算法验证（如 coding interview）持续向外扩展，「直到覆盖人类能够完成的一切——毕竟，人类最终确实能学会这些长周期任务」。
Kokotajlo 提出的经验事实是：AI 在「模糊、难以验证、概念负载很高的那些 blah blah blah」上也一直在进步——拿 GPT-3 或 GPT-4 与 Claude 在任何不可验证任务上比较即可。Larsen 认为，时间线的关键里程碑是某家实验室「宁可解雇人类，也不愿解雇 AI」的时刻：今天如果解雇 Anthropic 的全部人类，公司会直接崩溃；但「没有任何根本性因素阻止 AI 达到这种人类水平的能力。真正的问题只是何时发生」。

7. 经济是一个自我复制的机器

Larsen 将视角拉远：经济「是一个自我复制系统，而且一直如此」——从农业村落生育人口，到卡车、矿山和工厂。很快，这个循环将完全由机器闭合，而「这个自我复制系统的翻倍时间会远快于当前经济约20年的翻倍时间」——可能每年翻倍，也可能每6个月、每3个月翻倍。
针对 Scarfe 带有 Graeber 色彩的担忧——没有人类参与者的经济会出现「模式坍缩」——Larsen 认为，即使消费者需求崩溃，只要 Anthropic 足够庞大，再加上采矿合作伙伴，就能启动一个自我维持的产业：「在荒漠中翻倍」——露天矿、自驾卡车、由人形机器人建造的工厂生产更多人形机器人，再生产更多芯片工厂；最终抵达那个极限情形：「Anthropic 已经把月球拆了。」
报告中一个被低估的判断是：即便暂停在顶尖人类专家水平，也会彻底改变一切。与人类水平相当的「云端同事」更便宜、更快，每年翻倍，而不是用20年才能繁衍一代；到2030年代末，机器人可以建造城市，特别经济区可以出现露天矿，「海洋上空的地平线被太阳能板填满……只要有人类水平的 AI，再给指数增长一点时间发酵」。

8. 一个巨型模型，还是专门化群体——两者都不是根本分歧

Scarfe 根据实际使用提出挑战：今天的 agent 还无法组合，技能边界和记忆系统让每个 agent「像是不同的人」；组织无法在不发生故障的情况下把它们合并，内部表征也「碎裂、纠缠……有点粗糙」。Kokotajlo 则从规模化历史反驳：10年前，人们还会类比人类、认真讨论「上千个专门化 Claude」的假设；但经验告诉我们，「对于足够大的模型……编码能力会给物理能力带来一些小幅增益」。未来更可能是一套实际上覆盖整个经济、在其上训练出的单一模型，再配合便宜的蒸馏版本。
Larsen 用 Elon Musk 做直觉实验：乘法式技能组合——同时在10个领域达到90分位——对任何人类来说都「几乎不可能」，但却可以训练进同一个 AI，这也解释了为什么 Elon 能同时经营多家巨型公司。Scarfe 反驳说，Elon 的魔力在于识别什么会真正重要（科学，而非工程），而且他的行动能力通过工具和他人外置；Larsen 与 Kokotajlo 的回答是，这些原则上都可以自动化。
Kokotajlo 进一步降低了问题的赌注：即便专门化胜出，结果也会是「一群 Claude……带着某种内部官僚体系」去谈判交易、创办初创公司，就像拥有不同技能的移民群体；从更高层看，「仍然会发生 Anthropic 吞噬整个经济的现象」。他还保留了一个值得注意的让步：群体世界「会稍微更安全」，因为专门化 agent 必须相互沟通，监督起来比所有克隆体都知道一切更容易——于是节目里出现了这句玩笑：「我们赞成你描绘的那个愿景，但不赞成我们正在描绘的这个愿景。」

9. 大脑是机器；H100 位于其计算范围的中间

Kokotajlo 给出了一组数字：一块 H100 每秒可提供约1e15 FP16 flops，而对大脑的估算取决于按突触还是按神经元计数，范围从1e12到1e18不等；GPU「恰好位于对数分布的正中间」。神经元串联时每秒可能放电1–1000次，而 GPU 的时钟速度以 GHz 计，因此在串行处理速度上，GPU 高出许多个数量级。
两人都对架构判断保持保留：大脑的并行程度更高，而且大脑不同部分之间的通信比 ML 模型各部分之间更容易；因此 Kokotajlo 预计，在现有模型之上还需要「一系列算法改进」，但「究竟需要多少项、在性质上要有多大不同」仍是「一个非常开放的问题」。Scarfe 认可集体智能版本的论证：带工具、行动能力和社会结构的 transformer，可以像本身并不完备的人脑一样，绕过过去关于不完备性的反对意见。

10. Plan A：5个问题，在人类水平买时间，分两次暂停

Plan A 针对5个问题：失控、权力集中（「我们构建 AI，它们与人类对齐——但究竟与谁对齐？总统？CEO？某种真正广泛而良好的民主流程？……大概不会是最后一个」）、战争（面临失权的国家有动力「越早开战越好」）、就业，以及滥用（廉价、开源且具备生物武器能力的 AI）。
方案的机制不是永久停在今天，而是「先达到大致人类水平的 AI，然后利用人类水平 AI 尽可能买时间」——让它们足够聪明，既能帮助解决这些问题，也能促使社会意识到冲击、开始投入解决方案。具体而言：立即硬暂停6–12个月，用于建设基础设施；随后进行透明、带安全论证的开发；再在「能够可靠控制的最高水平」暂停一次，团队认为这一水平大致是顶尖人类专家水平；推进时要足够缓慢，「不能一头冲过去而失去控制」。国际协议将禁止智能爆炸，超级智能直到2040年才会出现。

11. 控制能买来时间；只有对齐能撑到最后——而失配会伪装成成功

定义上的区别是：对齐意味着 AI 「拥有它应该拥有的人格特征、目标和价值观」；控制则意味着，即使 AI 没有对齐，也无法造成伤害——类似于在安保良好的情况下防范内部威胁。一个现实例子是，OpenAI 针对 Hugging Face 事件宣布部署监控 AI，在检测到黑客攻击后半小时内提醒人类；这「是控制干预，而不是对齐干预」。
控制本身带着一枚定时炸弹：最终 AI 会强大到足以规避这些措施，「如果它们试图搞垮我们，我们就会直接失败」。2030–2040年的计划几乎完全依赖控制——反复进行红队/蓝队逃脱游戏，直到红队无法获胜——同时让人类水平的 AI 持续推进对齐科学。要对对齐本身建立信心，则需要白盒突破，例如可解释性研究，因为必须「区分出一种 AI：它做正确的事只是因为在伪装、在等待时机；以及另一种 AI：它从根本上就想做正确的事」。
为什么问题会变难而不是变容易：情境感知已经在上升，Redwood Research 的控制评测中，模型现在会想到，「嘿，这看起来像是 Redwood Research 真的在做控制评测」。Larsen 最尖锐的警告不是明显而严重的失败，恰恰相反——「我们会极其容易陷入这样一种局面：AI 实际上并未对齐，但你不知道，因为在你能观察到的一切层面，它们都做对了」。

12. 全面透明：检查员、两种数据中心，以及作弊的数学

具体协议是：收拢99%的算力（大型数据中心，不包括个人设备），由美国、中国及其他相关国家派检查员清点 GPU；随后将基础设施分成两类：面向客户、只做推理的数据中心，以及完全透明的训练数据中心，检查员把日志发布到互联网上。透明度让彼此不信任的国家能够执行进一步的临时协议，包括禁止智能爆炸的协议；它也让学界、非营利组织、竞争实验室和竞争性政府共同监督安全：「你不可能把它只分享给所有这些人而不同时分享给公众，所以干脆直接分享给公众。」
对于作弊，Larsen 将威胁模型拆成两类：藏在「山下」的隐蔽集群，通过全面清点加上长达10年的情报搜集来应对。他认为，这两项缓解措施单独看都有较大概率奏效；现实中最大的隐蔽集群可能只有几十万张 H100，在假设2030年实现 AGI 的情况下，它无法与使用数百万乃至数千万张 H100 的前沿训练运行竞争。至于在已知集群上进行非法运行，则通过验证基础设施来确保不存在不透明计算。
Kokotajlo 直截了当地说明了经济后果：公开训练配方意味着「Anthropic 和 OpenAI 不会高兴……这会大幅压低它们的估值」，因为 Microsoft 和 Alibaba 可以追上来——「这是设计目标，不是漏洞」。商品化加上垄断租金下降，会削弱万亿美元级集群投资的动力；在「跑得太快是我们主要问题」的世界里，这是好事。把技术送给中国的担忧则通过利益交换来处理——例如换取更有利的算力分配——同时，实验室安全性如此糟糕，中国「大概率本来就会通过间谍网络和泄密拿到大部分信息」。
Sam 发帖提出暂停训练后，节目讨论了立即停下的问题：「Plan S 会比默认轨迹更好。与其沿着当前轨迹继续下去，我宁愿现在就全部停下」；但实际建议仍是 Plan A：先短暂暂停，只允许推理；然后以谨慎、透明的方式推进，直到达到可可靠控制的水平。

13. 为什么公共讨论失效——以及「云端人类」这一根本分歧

Kokotajlo 对华盛顿的诊断是：没有真正严肃的技术型 AI 招聘，激励机制也不是追踪现实，而是「说一些听起来不错、符合华盛顿特区言论窗口的话」。「很多关于 AI 的争议性、边缘化观点其实是对的；AGI 的整个假设就是正确的，而华盛顿基本还没有接受这一点」，但讨论仍停留在「这全是泡沫」，最多也只是「下一个互联网」。他认为 LessWrong 是例外，那里评论质量确实很高。
他们与「AI 是普通技术」阵营（AI Snake Oil 的人）共同撰写了一份停战协议，列出10条共识，其中包括：如果 AI 大致维持今天的样子，它就是普通技术；但如果出现「云端人类」，它就不是。双方的全部分歧最终都归结为时间问题。Kokotajlo 说，如果 Claude 5 就是能力上限，「它在某种意义上会改变一切，但实际上不会从根本上改变任何东西」，因为人类仍参与的工作流比例会形成类似 Amdahl 定律的瓶颈；真正的分歧在于，AI 是否会达到「一批非常重要的任务中，字面意义上的100%覆盖」。
什么会让 Kokotajlo 改变看法？必须出现一个真正具有约束力的限制——「人们一直在谈论当前范式的局限，但这些局限又不断在当前范式内部被克服」。如果2029年的 AI 在模糊、不可验证的任务上仍不比2025年的 AI 更好，「这会让人觉得是真正的障碍」。政治冲击也可能改变轨迹：中美战争摧毁芯片供应，或者——「往好的方面说」——国际协议让前沿发展放慢。
Larsen 最后的触发线是连贯的递归式结构自适应：系统重新设计自身架构，并自行选择什么值得研究——「那对我来说就结束了。我想这就结束了。那不是普通技术」。Scarfe 表示，这听起来与他们阵营关于递归自我改进的看法相近；Larsen 最后说：「那我想我们达成一致了。」

Dino Mavrookas：美国需要重新造船