摘要

真正的关键红线，是实现完全自动化的 AI 研究闭环，把人类从开发过程中移除，让进展从“人类速度”切换到“机器速度”。 Kokotajlo 认为，递归式改进可能带来持久的战略优势；他援引 Dario Amodei 对智能爆炸的讨论，以及 Sam Altman 关于将10年的发展压缩到1年、甚至1个月的设想。如果某个国家控制了由此产生的超级智能，竞争对手可能被碾压；如果没有任何一方能够控制它，“所有人的生存”都可能受到威胁。Hendrycks 另行指出，率先触发递归的一方，即使只领先很短时间，也可能获得决定性优势。
拟议中的遏制方案包含3条具体红线：不得启动爆炸式 AI 递归；不得部署缺乏充分安全措施、具备专家级病毒学或进攻性网络能力的智能体；必须强化高能力模型权重的安全防护。 Kokotajlo 倾向于渐进式机制：各国透明地发展能力，研究每个层级，再讨论是否继续推进。Hendrycks 认为，协调可能先从公开表态和威慑开始，之后才走向核查或条约：“这场对话必须推进得远得多。”
时间线分歧很大，但在场没有人把风险视为可以安全置之度外。 Kokotajlo 已将超级智能的中位时间从2027年底推迟到2028年底；其他同事的中位预测大约在2029—2031年。Hendrycks 认为，到2030年达到人类水平的认知广度“不仅可能，而且相当有可能”；Marcus 则把2030年视为最快的合理情形，并将大部分概率放在10年之后，因为若要很快实现 AGI，就必须同时解决“无处不在、无所不包的一切问题”。
当前的资本开支趋势意味着：要么本十年内实现彻底自动化，要么 AI 进展将明显放缓。 Kokotajlo 估算，训练成本已从2020年的约300万—500万美元升至目前约10亿美元；如果保持同样速度，到2030年单次训练成本可能达到约5000亿美元。届时电力、晶圆厂、芯片产量、有限的互联网数据和企业预算都会成为约束；如果没有 AI 驱动的经济转型，他预计进展至少会逐步放缓，甚至出现“有点像 AI 寒冬”的局面。
前沿实验室最核心的治理失败，是一个被道德例外主义伪装起来的集体行动问题。 Kokotajlo 的说法是，DeepMind、OpenAI 和 Anthropic 的领导层都理解失控风险与权力集中的风险，但最终都接受了同一个“诱人的论证”：“如果我们不做，别人也会做。”他们相信自己是更负责任的一方，于是把已被承认的危险转化为竞速理由，使自愿自律不足以成为基准情形。
技术对齐仍明显落后于能力进展，尤其是在“差不多合理”远远不够的场景。 Hendrycks 认为，像拒绝生物武器请求这样的狭义防护，可靠性或许可以达到多个9；但如果稳健方法会让 MMLU 下降“一两个百分点”，实验室可能不愿采用。更广泛的要求——避免犯罪行为、侵权行为或可预见的伤害——仍然模糊；而智能递归是流程层面的问题，事先无法消除其中未知的未知。
乐观情形下的收益极其巨大，但产出充裕并不意味着所有人都能广泛拥有财富或保持政治自主。 Kokotajlo 描述了超级智能快速设计工厂、实验室、机器人、药物和定居点，直到物质需求得到满足；他还设想，不仅分配收入，也分配由密码学控制的“算力切片”。Marcus 则变得更加悲观：财富持有者或许会资助基本生存，却仍然保留“海滨地产”和权力，使得正向均衡取决于一套尚未有人提出的机制。
架构之争同时也是护城河之争：开放权重能让所有人站上同一条起跑线，却无法让所有人共享会复利增长的前沿。 Kokotajlo 认为，即使每个人拿到完全相同的权重，拥有大量 GPU 的参与者仍会率先利用 AGI 推进到 AGI+ 和 AGI++，形成强烈的规模报酬。Marcus 则预计会出现一次神经符号式的状态变化：到2035年，今天的 LLM 可能会被视为“不错的尝试”——仍然有用，就像智能手机出现后的功能手机，但并不是那个解决了推理、世界模型和稳健泛化问题的系统。

精读

1. 只有在安全均衡中，充裕才有可能

Kokotajlo 接受这样一种判断：如果发展路径正在通向某种可怕结果，那么站在推土机前阻止它可能是合理的；社会应先停下来，找到更好的路径。他反对的不是 AI 本身，而是错误的建设方式；正确构建的系统完全可能“对所有人带来巨大好处”。
AI 2027 所设想的积极版“以放缓收尾”，是领先公司和政府只投入勉强够用的时间与资源来解决对齐问题，在最后时刻完成突破，同时仍然领先中国。Kokotajlo 强调，这不是他们的建议——它会让人类暴露在非同寻常的风险中——但它确实是一种世界可能“磕磕绊绊地过关”的自洽路径。
一旦系统在所有方面都胜过最优秀的人类，而且更快、更便宜，它们就能在创纪录的时间内设计机器人工厂、实验室、工业设备和一代又一代的新技术。Kokotajlo 想象，只需“几年时间”，自动化充裕、疾病治愈，甚至火星定居都可能实现。
Kokotajlo 不接受 AI 必然会把人类变成动物园里的动物，或让人类永久沉浸在 VR 快感中。一个可行的社会可以在满足多种客观福祉的同时保留自主性；更遥远的一种机制，是给每个人分配可租用算力切片的密码学密钥，把生产性力量而非只有现金分配出去。

2. 政治分配可能击穿乐观情形

Marcus 比几年前更加悲观，因为企业的逐利性让全民基本收入显得越来越不可信。即便充裕能够覆盖基本生存，他也不认为富有的所有者会交出“海滨地产”或政治权力；近来华盛顿的政治动态进一步削弱了他对任何非极端不平等结果的信心。
这留下了两个对齐问题：机器是否仍然可控，以及控制机器的人是否会以可接受的方式分配收益。Marcus 可以想象，在根本看不到政治解决方案时停下列车，因为技术成功本身并不会创造正向结果。
他偏好的表述仍然是暂停，而不是永久禁止。暂停倡议当时希望推迟 GPT-5，让研究人员先解决已知的 GPT-4 对齐问题——讽刺的是，他指出，两年半后 GPT-5 仍然不存在。Hendrycks 也赞成区分暂停与停止；Kokotajlo 则不认为，旨在让 AI 完全可控的技术研究能带来多少投资回报。

3. AI 研究自动化才是 destabilizing capability

Kokotajlo 把重点放在阻止超级智能上，因为相比明天停止所有 AI，这一要求似乎更符合地缘政治激励。实际触发点，是将 AI 研发彻底自动化：“把人从闭环中拿出去”，让开发从人类速度切换到机器速度。
Kokotajlo 援引 Dario Amodei 对递归过程和智能爆炸的讨论，以及由此产生的持久领先；他也援引 Altman 关于将10年的 AI 发展压缩到1年、甚至1个月的说法。造成战略不稳定的，正是这种速度，而不是对“AI”的模糊恐惧。
如果中国或其他国家控制了这样的系统，Kokotajlo 认为，它可能将这一优势武器化并碾压其他国家。如果没有任何一方控制一个几乎无人监管、运行极快的过程——而他认为这相当可能——那么全人类的生存反而可能受到威胁。
今天更快的超参数搜索并不是这里讨论的递归。真正的门槛是：系统能够提出那些在2024年仍需要人类提出的想法，然后完成测试、验证、调整、实施和扩展；3人都同意，实验室正在明确尝试达到这一能力。

4. 3条红线定义了可能的遏制机制

Hendrycks 提出3条红线：不得启动具备爆炸潜力的完全自动化递归；不得在没有安全措施的情况下，让广泛可获得的智能体具备专家级病毒学或进攻性网络能力；对于超过有意义能力门槛的模型权重，必须实施强有力的信息安全，防止流氓参与者窃取或外泄。
Kokotajlo 认为，递归是一个很好的起点，但他偏好的机制是渐进式的，而不是设定一条永久不许跨越的边界。各国应在相互透明的条件下发展能力，研究每个新层级，再公开讨论继续推进是否安全。
Marcus 指出，条约可能需要8年或10年才能达成，因此即便危险能力要到25年后才出现，提前启动工作仍然合理。Hendrycks 预计，协调会分阶段形成：先是公开立场、内部政策、泄密和威慑，也许还会出现一场促使各方要求核查的冲突，之后正式条约才具备可行性。

5. 只有递归启动后，领先6个月才有意义

Marcus 怀疑当前 LLM 范式能否带来持久的国家级优势；他说，如果行业继续停留在 LLM 上，“没有什么优势会是持久的”。他可以想象神经符号 AI 等真正不同的方法带来阶段性领先，但不认为当前范式会做到这一点。
Kokotajlo 对持久性的定义不同：竞争者可能在6个月后学会所有东西，却始终无法缩小差距，因为领先者会以同样速度继续前进。今天看似不大的6个月，如果被领先者用来触发递归式改进，就会变得具有决定性。
他也反对把“LLM”和未来范式截然分开。推理智能体已经在组合语言模型、工具和代码；2027年的 AI 可能会通过持续的范式迁移而显著不同于2023年的 AI，而不是由某一项离散发明突然改变。
Hendrycks 认为，公开能力透明度可以构成刹车：如果人们能看到某个实验室启动递归，“全世界都会彻底慌掉”。Marcus 援引民调称，大约75%的美国人已经感到担忧；Kokotajlo 则反驳说，他在 OpenAI 的经历是被施压淡化风险，而不是宣传风险。

6. 前沿实验室把恐惧转化为竞速理由

Kokotajlo 将前沿实验室内部长期讨论的两类风险分开：对齐失败会导致失控；即便对齐成功，如果公司或统治者掌控系统，也会产生权力集中。早期文章、领导层表态和泄露的通信都表明，这两个问题并不是后来才出现的。
他对持续加速的解释是“合理化”。“这大概无论如何都会发生；如果我们不做，别人也会做”的论证，让每个群体都得出同一个结论：赢下竞赛才是最安全的选择，因为它们更信任自己的能力与善意，而不是其他人的能力与善意。
DeepMind 的计划，是先建立足够大的领先，让 Demis Hassabis 能够放慢速度并解决安全问题。OpenAI 的出现，部分源于 Elon Musk、Altman 和 Ilya 不信任 Demis 掌握这种权力；邮件中甚至讨论过他可能成为独裁者的担忧。Anthropic 随后从 OpenAI 分裂出来，因为其创始人不信任 OpenAI 的安全行为。
Kokotajlo 的结论是绝对的：“我们绝对不应该”简单相信他们中的任何一个。政府需要配置人员跟踪前沿能力、访谈实验室、评估其计划并准备应急方案；真正应检验的是，公司是在帮助解决集体行动问题，还是继续重复背弃合作的模式。

7. 透明度可操作，但不会自发出现

Hendrycks 对公开披露内部峰值能力持乐观态度，尽管不一定包括方法或权重。他的激励逻辑是，中国可能已经知道美国实验室的大量情况，而外界对中国人民解放军的发展了解更少；披露可以缩小这一不平衡，提升可信威慑。
Marcus 区分了“可操作”和“自动发生”。一旦某一方拥有竞争者无法迅速重建的差异化知识产权，实验室披露信息的动机就会减弱；因此，他和 Kokotajlo 都不认为自愿自律足以成为可靠机制。
在 Kokotajlo 的模型中，开放权重不会消除集中度。即便所有人同时拿到前沿 AGI，拥有最多 GPU 的参与者仍能开展更多研究，率先抵达 AGI+ 和 AGI++；递归式发展因此天然包含规模报酬。

8. 预测都有长尾，但在2030年前分歧显著

Kokotajlo 更偏好概率分布，而不是单一日期，并将目标拆成多个里程碑：超人类编码、AI 研究完全自动化，以及超级智能。这些曲线体现的是主观判断，未来5年内有一个隆起，同时带有长尾，而不是把概率集中在某个日历年份。
撰写 AI 2027 时，他对超级智能的中位预测是2027年底；此后已将其推迟到2028年底。AI Futures Project 的其他预测者给出了2029年或2031年等更晚日期，但他说：“我是老板，所以我们采用了我的时间线。”
Marcus 把2030年视为最快的合理情形，并将大部分概率放在10年以后，尽管他承认突破最终可能加速进展。Hendrycks 在思考多维认知时仍刻意不下定论，但认为到2030年出现具备典型人类认知能力的系统“不仅可能，而且相当有可能”。
他们在尾部的距离更小：Marcus 和 Kokotajlo 都保留了围绕2045年及之后的实质性概率。真正重要的分歧，是当前限制究竟会成为具有约束力的瓶颈，还是仅仅成为前沿公司在未来几年内不断冲破的“一连串减速带”。

9. 扩展要么改造经济，要么撞上硬预算约束

Kokotajlo 认为，过去15年的大部分进展来自算力、数据和研究人员投入的扩展，其中算力可能是最大的投入项。他对近期的判断包含一个继续扩展的隆起；长尾则源于未来几年后维持同样的指数速度会困难得多。
电力供应只是一个约束。当公司无法再简单改造游戏芯片时，下一次10倍增长就需要大幅增加 AI 芯片产量和晶圆厂；即便没有任何单一因素形成明确断点，多种摩擦也会叠加。
Marcus 估计，数据已经构成约束：GPT-2 可能用了互联网内容的5%—10%，后续系统使用更多，而 GPT-4 已经用了其中大部分，包括视频转录内容。不可能继续把语料库扩大100倍。合成数据在答案可验证的领域效果最好，例如数学；Marcus 说，“思考模式”部分填补了这一缺口。
金钱体现了综合约束。Kokotajlo 对比称，训练成本已从2020年的约300万—500万美元升至当前约10亿美元；如果再增加两个半数量级，2030年单次训练成本将达到5000亿美元。若本十年末没有 AI 驱动的彻底自动化，他预计进展会逐渐放缓，甚至出现“有点像 AI 寒冬”的局面。

10. 算力预测提供的是先验，而不是答案

Kokotajlo 坦率地描述自己的预测方法：建立模型、观察趋势、进行计算，“然后把所有这些东西综合起来，凭感觉拽出一个数字”。数字仍然是主观的，但显式结构能让判断比毫无依据地给出日期更加有纪律。
Bio Anchors 框架将新研究想法所需的时间，与可用于暴力搜索的算力联系起来。算力越多，今天能尝试的事情就越多；新算法则会逐步把所需算力分布向下移动，把二维不确定性转化为一个按年份分布的概率。
在约 (10^{45}) 次浮点运算的规模上，他提出一个宽松的上限：即使完全不了解智能，也可以模拟地球、生命和10亿年的进化。当前训练运行约为 (10^{26}) 次浮点运算；在当前能力与这一上限之间分配不确定性，仍会给本十年赋予不可忽略的概率，之后具体基准测试证据应当更新这一先验。

11. 编码是递归式研究的第一阶梯

Kokotajlo 不认为人类会一步跳到超级智能。他设想的路径，是逐步自动化更多 AI 研究、更快抵达新范式，而起点将是编码，因为它是最容易自动化的研究活动。
METR 等团队的智能编码套件包含一些需要人类约4小时或8小时完成的任务。他预计，这些基准测试会在几年内饱和，随后又明确在基准饱和与编码完全自动化之间加入一个推测性的“缺口”。
他所说的超人类编码器并不是自动补全：用户给出高层指令，智能体就能像优秀的职业软件工程师一样完成工作。Marcus 认为学徒级工程能力已经接近，但预计未来10年内不会出现 Jeff Dean 级别的人——即能够理解前所未有的问题、迅速制作原型，并将解决方案转化为生产系统的人。
Marcus 的反对点在于原创性，而不是智能体能否自动化更多实验。当前系统可以“在盒子里”工作，但实现 AGI 可能需要 Einstein 级别的重新框定；Kokotajlo 则预计，自动化会帮助发现新的范式，把今天的弱点视为暂时性障碍。

12. Marcus 认为架构缺口并未被扩展解决

Marcus 的清单来自认知科学：分布外泛化、对变量进行操作、结构化表征、区分类型与 token、规划、推理、稳定的世界模型，以及灵活的领域知识。他说，自己在1998年和2001年指出的那些核心缺口，仍然在制造今天的失败。
例子被刻意选得很基础。1957年的经典技术可以解决任意规模的汉诺塔，但现代模型一旦改变长度就会出错；o3 会下出非法的国际象棋走法；而领域工程化的 AlphaFold 这一混合神经符号系统，在自己的专长领域明显胜过通用聊天机器人。
Kokotajlo 承认，一个 (10^{45}) FLOP 的进化系统可能是不透明的，但他说，能够建立文明的进化生物仍然会是有智能且具有经济用途的。Marcus 认同不透明是可能的——这正是他的担忧：“炼金术太多，原理太少”，使得有意对齐更加困难。
Marcus 将当前范式比作早期人们相信基因是蛋白质的时期。实验最终确立 DNA 后，分子生物学迅速发展；同样，AI 可能需要脱离错误假设，发生一次状态变化。如果要在2027年补齐所有缺失的能力，就必须做到“无处不在、无所不包的一切”。

13. 工具使用把争论转化为可靠性问题

Kokotajlo 认为，相关系统应被理解为 transformer 加上工具、插件和代码解释器。Claude 不需要在脑中执行汉诺塔算法，只要能查找算法、实现算法并返回正确结果即可——人类做算术时也经常使用外部工具。
Marcus 称这本身就是神经符号系统：网络生成 Python，由其中的符号和变量执行神经组件无法可靠完成的操作。如果模型总能选对工具，“那就万事大吉”；早期 LLM 连接 Wolfram Alpha 或 Mathematica 时经常时灵时不灵，问题正出在这一接口上。
Kokotajlo 将 METR 不断增长的任务时长图视为可靠性提升的证据。如果智能体每一步都有固定的灾难性错误概率，那么降低这一概率，就能让它完成更长的任务；新系统似乎既更少犯错，也更擅长从错误中恢复。
Marcus 的反驳是方法论层面的：这张图覆盖的是编码，可能存在未知的数据污染，而且成功标准是50%。据称另一张并行智能体图表也呈现出类似的视觉改善，但横轴只到秒级；与此同时，人类只需片刻就能选择合法的国际象棋走法，而 o3 仍然无法做到100%可靠。

14. 智能是多维的，基准测试只能选择性照亮

Hendrycks 警告存在“路灯效应”：研究人员会构建那些容易测量进展、且 AI 已经有抓手的基准测试。模型可能在某一代视频测试中登顶，但下一代测试会暴露此前被饱和掩盖的结构性缺陷。
随机抽取与儿童一起使用的认知任务，模型仍会在两位数比例的问题上失败，甚至接近一半：数照片中的人脸、连点、填色。流体智力、视觉处理、长期记忆、空间推理和物理理解，并不能与写作流畅度互相替代。
预训练花了数年才带来阅读、写作和结晶知识，而不是瞬间实现。Google 的 Minerva 在2022年达到 MATH 基准约50%的成绩，模型则在2025年前后将其彻底击穿；阅读和写作大约用了4年才成熟。Hendrycks 可能预计音频能力会在1年或2年内提升，但不认为完整的视频理解也会如此。
某一维度的严重缺陷，可能阻断经济自动化。长期记忆薄弱，会使工作型智能体无法维持状态并吸收组织背景；流体智力薄弱，则会限制泛化。Marcus 补充说，当前系统还难以标注图表或在物理环境中进行推理。

15. 新鲜问题揭示流畅度与泛化之间的差距

Marcus 将熟悉的游戏稍微移出分布。Grok 在一个只有边缘连续3子才算胜利的井字棋变体中失败，即便得到纠正也没有解决；国际象棋系统在被要求构造异常局面、改变棋盘几何结构，或灵活运用熟悉规则而不是复现正统棋局时，也会遇到困难。
训练数据的辩护无法说服他，因为前沿模型很可能见过国际象棋规则、棋谱、书籍和 Wikipedia，却仍然会走出非法棋步。科学评估仍然受到损害，因为实验室不披露数据或增强方式；他的根本问题是系统如何泛化到训练之外，而“我们对此完全没有透明度”。
他援引 LiveCodeBench Pro：据称其中全新的题目带来的机器表现是0%；还援引一项 USAMO 研究，称模型在新题上的表现很差。Frontier Math 的证据更不干净，因为 OpenAI 曾接触过这些题目，外部人员无法判断发生了何种相关增强，即便公司称没有用答案训练。
Kokotajlo 预计，这类反例每年都会变得更难找到，但不会一夜之间消失。Marcus 将这一模式比作自动驾驶：Waymo 持续改善，却仍然依赖地理特定地图和运行范围。Hendrycks 补充说，即使是写作，在几乎所有可用文本都已被利用的情况下，表现仍大约只有 GRE 风格评分的4.5/6。

16. 对齐是不断变化的可靠性问题，而不是已经解决的模块

Marcus 认为，模型在插值能力上取得了巨大的提升，但对齐并没有相称的进展。强化学习可以让模型拒绝明显的生物武器请求，但越狱仍然存在；系统仍会产生幻觉、复现被禁止的受版权保护文本，并违背简单约束。非法棋步正是这一问题的缩影。
Hendrycks 区分了对齐原始超级智能模型，与对齐制造超级智能的递归过程。前者是模型层面的问题；后者涉及一个前所未有、极度快速的过程，其未知的未知无法在一篇8页论文中预见。技术工作无法事先“完全消除”这一递归的风险。
当前系统能够“相当合理地”遵循指令，但 Marcus 说，当武器问题也只是“相当合理”时，这“让我他妈害怕”。Hendrycks 认为，具备对抗鲁棒性的生物武器拒答能力或许可以达到多个9，但生产实验室可能会回避那些让 MMLU 下降一两个百分点的方法；而禁止犯罪、侵权或可预见伤害，则远没有那么容易实现。
Hendrycks 预计，新的失败模式会不断出现，针对性的修复和待处理问题也会越积越多，因为智能体扩大了攻击面。要求是具备适应性能力、留有余量，并设置安全预算，以便在火灾出现速度快于蔓延之前将其扑灭。因此 Marcus 支持对安全关键型部署进行干预，也将明确的神经符号约束视为一条路径，即便低风险用途仍可继续使用聊天机器人。

17. 不同情景最终都指向核查机制

Marcus 会大幅放缓 AI 2027 的进程。他预计神经符号方法会在3年或4年内获得发展，到2035年，人们可能会把 LLM 看作“不错的尝试”：它仍然擅长分布式学习，但并不是带来深层语义、规划、稳定世界模型或 AGI 的架构。
人类证明了远高于当前系统的数据效率，而机器最终应当超越人类的记忆能力，并避开确认偏误和动机性推理。Marcus 预计，进展会沿着不同维度逐项推进，缺失的想法出现后还会迎来更快的阶段；他质疑的是两年内实现 AGI，而不是最终出现远超人类的系统。
他还希望看到情景分布，因为一个生动的叙事可能压倒读者对概率的判断。Kokotajlo 说，AI Futures Project 正在构建一个详细的美好结局，以及一组更短的“粗略情景分布”，同时仍然认为当前限制更像减速带，而不是持续数十年的障碍。
Hendrycks 的战略图景强调间谍活动、透明度和破坏：前沿实验室的 Slack 系统和领导人的手机可能遭到入侵，数据中心的电力基础设施也可能在难以归因的情况下被干扰。尽管对时间线和架构存在分歧，3人都支持围绕智能递归建立核查机制，不信任实验室的自愿治理，并同意对齐进展尚未赶上其必须治理的能力进展。

市场概述2025年6月24日欢乐六月怎么了？