METR 的 Joel Becker：指数级时间跨度评测、威胁模型与 AI 生产力的边界

摘要

• METR 的主曲线显示，AI 的能力沿着一条异常笔直的趋势上升，但其“时间跨度”衡量的是人类任务难度，而不是 agent 的运行时长。 在 50% 可靠率下，评测套件覆盖从微小的 SWA 操作，到需要人类 20–30 小时完成的 HCAST 工作和 RE-Bench 研究工程任务。这里有一个重要限制：任务边界清晰，通常可以自动评分，大多不涉及视觉，也剥离了组织内部的默会语境，因此这张图不能作为所有现实世界工作的代理指标。

• Opus 4.5 的跃升幅度足以改变资深工程师的行为，也对 Becker 更偏好的 7 个月翻倍趋势构成挑战。 他观察到，开发者从抵触代码助手，变成“几乎一行代码都不写”；这一版本的结果符合更快的 4 个月曲线，却“以某种方式”证伪了他的 7 个月趋势线。Becker 仍认为，单次发布可能反映的是任务分布噪声；更有信息量的信号，是 1 到 3 年的进展。

• 最初关于 AI 让开发者变慢的发现，不能直接套用到今天的工作流上。 如今开发者抵触被随机分配到禁用 AI 的工作，形成选择偏差；同时，他们越来越多地并行处理多个问题或工作流。表观生产力也可能被高估：AI 让一些项目得以启动，其反事实加速“可能是无限的”，但这些项目往往此前被搁置，是因为它们对 Becker 的价值更低；而组织也未必能吸收 10 倍的产出。

• Becker 所担心的阶段跃迁，不是基准测试成绩本身有多亮眼，而是 AI 研发闭环是否完全闭合。 “自动化 90% 还不够”：剩下的尾部可能包括故障 GPU、数据中心运维、冷却基础设施、芯片设计或芯片生产。METR 关于 GPT-5 和 GPT-5.1 的报告认为，这些模型的能力还不足以造成灾难性伤害；但 Becker 表示，完整闭环的自动化可能创造出能力失控式爆发的条件。

• 算力既是显性的加速器，也可能成为能力增长的刹车。 如果算法发现本身需要昂贵实验，算力增速放缓就会产生双重冲击：原始扩展减少，算法进展也减少，从而可能推迟重大里程碑。这一判断仍有条件：有些想法几乎不需要算力，AI 劳动力可能加速研究，而且讨论中提到，基于 OpenAI 的数据几乎无法看清 Meta、xAI 和 DeepMind 的支出。

• 单一排行榜分数掩盖了那个可能决定自主性是否奏效的“秘密第 11 件事”。 Becker 希望看到更多开放式评测、agent 操作记录，以及代码是否真的会合并进主分支的测试，而不只是通过单元测试。主持人指出，测试 harness 可以让表现上下移动约 10 个百分点，因此脚手架在今天很有价值，尽管“跨模型代际来看，它就没那么有价值了”。

• Becker 在 Manifold 的胜利说明，预测市场定价的可能是能动性乃至特权信息，而不只是纯粹的预测能力。 他向慈善机构捐出约 5,000 美元，推动一个捐赠市场越过结果边界，赢得虚拟货币，并成为其中最赚钱的交易者；与此同时，一个 AI 模型市场的交易量达到 2,800 万美元，尽管内部人士可能提前知道答案。他更新后的看法更为谨慎：经过校准的概率有价值，但“赌博式行为会给社会带来成本”。

精读

1. METR 将能力测量连接到具体的灾难性风险案例

• Becker 将 METR 定义为模型评测与威胁研究：衡量系统今天和明天可能达到什么水平、部署后实际会做什么，以及这些能力和行为倾向是否会连接到“对社会造成巨大乃至灾难性的风险”。

• METR 关于 GPT-5 的报告，以及随后对 GPT-5.1 开展的类似工作，结论都是这些模型不构成此类大规模风险。Becker 的判断基于能力：尽管模型的基准测试成绩亮眼、日常用途广泛，METR 认为它们还没有能力执行所需的伤害行为。

• 该组织已将重点从自主复制——AI 获取资源并独立完成自我部署——转向实验室内部的研发加速。这一情景可能带来能力爆发，并造成系统性失稳。

• Swyx 强调，METR 是独立筹资的组织，而不是由实验室出资的评测机构。Becker 表示，METR 脱胎于 ARC；如果没有独立的专业知识来源，他可以“永远敲这面鼓”，却无法改善社会获得的信息。

2. 时间跨度衡量任务难度，而不是 agent 能存活多久

• 这条曲线最初只是 2023 年一页零散的内部幻灯片：一条轴是能力，另一条轴是时间、算力或其他资源。METR 将能力操作化为模型在 50% 可靠率下能够完成的人类任务时长后，经验曲线变得“异常笔直”，远比最初的直觉草图规整。

• Becker 强调，市场反复出现的误读是：5 小时的时间跨度不意味着模型能够连续 5 小时高效工作，而是意味着模型可以可靠解决一个人类大约需要 5 小时完成的任务，即便模型自己只花了“0 分钟或 5 分钟”。

• 约 170 项任务的分布，从 SWA 风格的原子操作——例如“名为 passwords.txt 的文件可能包含密码”——延伸到需要人类 20–30 小时完成的 HCAST 任务，最后是 RE-Bench 极具挑战性的全新机器学习研究工程任务。

• 任务选择限制了结论的外推范围。METR 偏好经济价值高、可扩展、通常能够自动评分，且熟练的“低语境人类”仅凭提供的信息就能完成的任务；视觉密集、开放式、需要外部交互或依赖默会语境的工作代表性不足。现实工作要“混乱”得多。

3. Opus 4.5 挑战了一条趋势线，却强化了更长期的趋势

• Becker 称 Opus 4.5 无论在基准测试还是实际使用中，都是一次有意义的跃升。他认识的一些能力很强的工程师，已经从有选择地使用或抵触 AI 编程，转变为“几乎一行代码都不写”；这是一种不连续的行为变化，他自己也有切身体会。

• Opus 4.5 符合 METR 发布相关研究时提出的较快的 4 个月时间跨度翻倍线，却不符合 Becker 更偏好的 7 个月线。他承认，这“以某种方式证伪了我的趋势线”，但仍无法确定偏离是源于潜在能力，还是因为这一版本恰好适配 METR 的任务分布。

• 主持人质疑 Claude Code 运行 5 小时或 30 小时的轶闻：它可能有很长时间都在“做彻头彻尾的蠢事”，一次成功运行也可能无法重复。Becker 的回答是把轶闻视为证据，但对单个版本的权重低于 1 年和 3 年趋势。

4. AI 生产力已经超出了原始随机对照试验的简洁设计

• METR 正在重做开发者生产力研究，但 Becker 不愿透露结果。复制实验变得更难，因为预期 AI 会带来明显收益的开发者越来越不愿被随机分配到“禁用 AI”的组别，研究人员只能得到那些本来就怀疑 AI 帮助不大的任务。

• 自 2025 年 3 月前后以来，工作流也发生了变化。如今开发者会并行推进多个问题或工作线，而早期研究的参与者基本上一次提供所有问题，并行程度更低；随机化一个孤立任务，已经无法捕捉实际的编码方式。

• Becker 区分了在同一任务上的提速与扩展到新工作的能力。他的一些副项目如果没有 AI 根本不会存在，因此表观加速“可能是无限的”；但这些项目的价值并非无限，它们对他的价值较低，这也解释了他此前为什么没有获得完成这些项目所需的专业知识。

• Alessio 补充了组织层面的约束：即使 AWS 工程师的速度提高 10 倍，客户也无法吸收新增的 50,000 项服务。Becker 同意，乐观的自我估计很容易被高估，但强调 AI 公司的人可能仍然获得了显著加速。

5. 端到端研发自动化是 Becker 判断阶段跃迁的门槛

• Becker 当前的安全判断结合了正式评测与实际观察。模型在操作记录中仍显得“有点笨拙”，会浪费资源，也会犯明显错误；而略弱一些的系统已经被大规模部署 6 个月，却没有造成非同寻常的危险，因此根据此前证据，认为一次小幅增量改进就带来灾难，会令人意外。

• Swyx 反驳称，涌现能力可能发生不连续的融合，从而削弱“n−1 版本没事”的论证。Becker 承认，考虑到前沿版本数量很少，连续性判断“很脆弱”；但他表示，迄今为止进展呈现出的惊人规律性，仍让他相信进步可能继续保持连续。

• 真正令他担心的断点，是实验室内部实现完全自动化的 AI 研发。即使测得的时间跨度达到 1 年，含义仍然不明确，因为“自动化 90% 还不够”；某些尚未测量的最后 10%，可能足以阻止整个反馈回路闭合。

• 这个闭环可能是纯软件的：在硬件不变的情况下，更好的模型递归地产生更好的模型；也可能需要芯片设计，最终甚至需要芯片生产。Becker 无法排除闭环一旦形成就发生爆发的可能性：“谁知道那之后会发生什么。”

6. 研究基准只能捕捉自动化闭环的一部分

• 论文复现或原创研究基准确实衡量了 AI 研发的一项真实组成部分，但 Becker 的“反方观点”是，它们遗漏了漫长的运营尾部。GPU 会故障，需要有人维修数据中心；冷却系统出问题时，也需要有人联系供水公司——这些能力不会体现在论文分数中。

• Swyx 主张建立一个公开的“车轮图”，列出约 10 项关键能力，而不是把一切压缩成一个数字。Becker 同意这样做会损失维度信息，但他预计，任何清单都会暴露出一个“秘密第 11 件事”：事前很难界定，只有在它成为瓶颈后才显而易见。

• 主持人建议像安全社区列出十大风险那样，每年更新这份清单。Becker 接受了这一挑战，但保留了更深层的不确定性：METR 目前测量的可能只是实现完全自动化所需能力中的一小部分，因此整个闭环的闭合时间，可能晚于基准外推所暗示的时间。

7. 算力放缓可能通过算法发现产生复合冲击

• Becker 的模型首先假设时间跨度趋势应按字面理解，然后追问什么因素可能让它向下弯曲。算力是一个显而易见的候选因素：如果能力直接依赖算力，而算法进展也依赖高算力实验，那么增长放缓就会同时削弱这两个部分。

• Transformer、RLHF、学习率调度等改进，并不是投入一阵劳动力就会偶然出现的成果；研究人员通常需要规模来显现算法收益，还需要“大量实验”才能发现算法。在算力是瓶颈这一强假设下，算力增速减半可能大致令时间跨度增速减半，并显著推迟里程碑。

• 他强调了其中的限制条件。有些创新几乎不需要算力，研究人员可能在前沿训练开始前就提出好想法，AI 劳动力也可能在没有完全能力爆发的情况下加速算法研究。结论取决于算法进展在多大程度上“基本由算力决定”。

• METR 使用了 OpenAI 过去的纳税申报资料，以及 The Information 报道的未来研发算力预测，再将美元支出换算回 FLOPs。Swyx 提醒称，Meta、xAI 和 DeepMind 的支出大多不可见，而实验室失败、行业整合、蒸馏和重复使用算力，也让行业层面的图景远不够干净。

8. 预测市场的准确性可以由参与者制造出来

• 当被问及对前沿模型的朴素先验判断时，Becker 估计 2025 年时间跨度领先者的概率大致为：xAI 5%、OpenAI 50%、Anthropic 45%——“如果我完全错了，别朝我开枪”；他同时指出，换一项基准测试，分布就会不同。

• 他在 Manifold 排行榜上的第 1 名，主要来自一个慈善市场。他看到捐赠额按线性方式预测，于是用虚拟货币买入更高档位，之后进行真实捐赠，把结果推过边界；他重复了这一操作，随后尝试虚张声势但失败。最终捐出约 5,000 美元，仍然带来了足够的收益，让他登上排行榜首位。

• 主持人将其称为“高能动性的预测市场”。另一个最佳 AI 模型市场的交易量已达到 2,800 万美元，尽管员工可能知道尚未发布的基准结果。Becker 表示 Meta 员工不应参与；讨论还提出，内幕信息可能本身就是价格发现的来源。

• Becker 对预测市场的社会价值已经不如过去确信。战争等重大事件的可靠概率判断确实有用，但散户亏损和“赌博式行为”会带来成本；如果市场由成熟交易者持续与散户对手盘交易，情况会比大型机构彼此交易更加令人担忧。

9. 更好的评测会观察 agent 在开放世界中如何失败

• Becker 强调了 AI Village 风格任务的重要性，例如开一家商品商店、组织一次公园活动，或搭建一项人类受试者实验。新旧模型、对视觉的依赖和不受控条件都会增加推断难度，但开放式环境能揭示 agent 如何“当场摔个大跟头”。

• 他理想中的测试会提供广泛的操作权限，然后只下达一句指令：“自动化研发，开始。”他预计现有系统会因为资源使用不佳和长周期执行能力不足而失败，这正说明，在一个细致的软件问题上表现出色，与自动化一个组织的研发流程“完全是两回事”。

• Agent 操作记录是另一个规模巨大但经过筛选的数据集。它们展现了迭代式行动、输出、令人印象深刻的行为，以及可能的偏好颠覆；但用户自然会选择有一定成功概率的任务，因此，一份醒目的不安全操作记录本身，并不能说明该行为的基础发生率。

• 基准测试成功，也应与代码是否真的会合并进主分支区分开来：它是否增加了测试、遵循代码库模式，并完成正确集成？METR 会在开发任务上调校 harness，再用留出任务进行评估，以限制过拟合；脚手架“还有很大的增益空间”，但在同一代模型内可能很有价值，到了下一代则可能被冲淡。

10. METR 的 2026 路线图将能力证据与安全保障结合起来

• Becker 预计，未来会有更多时间跨度和生产力风格的证据，也会开展监测研究，判断安全保障措施能否成功应用于尝试执行危险任务的模型。当前工作总体上仍是黑盒评测，而非可解释性研究；到 2026 年，这些能力、行为倾向和监测证据将被纳入更完整的风险评估。

• 他没有给出具体的 2030 年成功指标，只将 METR 描述为一个资源精简但富有战斗力的环境，由有才华的人从事前沿科学研究。