摘要

即便“AGI”仍无明确定义、顶尖人类仍保有狭窄优势，Nathan Labenz 仍确信 AI 将重塑经济与社会。 真正 relevant 的门槛，是系统在几乎所有认知工作上都胜过绝大多数人，而非具备完美的通用性；5年前，2050年甚至“可能这辈子都等不到”还是常见判断，如今认为要到2035年才出现 AGI 已属于看空。他的核心判断是：“这会是一个巨大、巨大的事件。”
强化学习扩展大概率足以覆盖大部分认知工作，而持续预训练和一个可能存在的“神秘第三件事”意味着，当下的具体技术栈只是阶段性方案。 前沿实验室应持续向预训练和 RL 投入算力，直到两者的边际回报趋于一致；重新考虑和记忆管理等元技能，即便无法迁移领域知识，也可能实现广泛泛化。更近的商业化突破口或许在可用性：一个能进入 Slack、收集上下文，并在无需专家级提示的情况下开始工作的 AI 同事。
医疗是 Labenz 眼中最清晰的证据，说明专家级 AI 和自我强化的评估闭环正在到来。 在儿子接受癌症治疗期间密集使用最新模型后，他认为模型“绝对达到主治医师水平”；OpenAI 曾与250多名医生合作，但如今其最新模型在评估 AI 输出方面已经超过这些医生。他认为，未来大约10年内治愈大多数人类疾病的可能性将带来非凡的上行空间，同时明确强调这一判断仍不确定。
基础设施面临的约束更多来自先进芯片，而非能源或资本，风险主要来自尾部事件而不是物理极限。 Labenz 将一台运行中的 H100 功耗比作微波炉或电热水壶，把一次查询比作使用微波炉约1秒；更大的障碍是拿到足够发电能力的许可。若晶圆厂发生重大中断，尤其是在台湾周边，可能会阻止更大规模的训练，或让整个经济部署所需的推理算力严重不足。
时间线大幅压缩后，知情专家仍然分歧巨大，因为新证据被不同范式分别吸收，并没有真正结束争论。 瓶颈论或 O-ring 理论的支持者总能找到下一个薄弱环节；另一派则指出，AI 昨天还不会算术，今天已经在处理未解决的数学问题。Labenz 因此把自己的 P(doom) 维持在“10%到90%”：“P(doom) 只能精确到1位有效数字。”
由于当前模型似乎会内化价值观，且前沿能力仍是一套生态而非单一失控优化器，Labenz 对对齐的态度变得略微乐观。 相比一个刚入职的人类助理，他更愿意把敏感邮件交给 Claude，尽管主持人正确指出，目标导向的 RL 可能重新引出经典的奖励错配问题。Scaling laws 和数个大致处于竞争关系的前沿系统提供了一定保护，但人类逐步失去权能仍是严肃且未解决的风险。
没有一种单独的安全方法“真正有效”，因此现实路径是纵深防御，并在能力投资压垮安全措施之前推动中美协调。 Labenz 将有意设计模型、AI 控制、能够捕捉90%以上残余不良行为的监控、形式化验证软件和疫情防御结合起来；从20个方向各解决一部分问题，或许能达到几个9的可靠性。他反对国有化和面向消费者的禁令，认为以月计的领先无法换来足够时间，而且“这件事里的真正外星人是 AI，不是中国人”。

精读

1. 变革性 AI 不需要一条清晰的 AGI 终点线

Labenz 拒绝为 AGI 设定一种“高高在上的特权定义”。他的实际门槛是：AI 在几乎所有认知工作上都超过绝大多数人，或许仍不及最顶尖的专家，但已经足以重塑经济、日常生活、社会契约，甚至“人类这个物种的本质与地位”。
能力仍会呈现锯齿状：模型在某个场景中可能惊人，在另一个场景里却异常羸弱，面对对抗性输入的稳健性也不如人类。但执着于寻找永久存在的能力盲区——他的刻意冷门例子是，在“我们其实没有多少品味型 AI”的情况下，AI 能否达到顶级侍酒师的水平——会把注意力从真正重要的问题上带开：它是否会改变人们关心的几乎一切。
主持人进一步厘清了他的担忧：不确定的是人类彻底失去用处，而不是社会被广泛重塑。若再出现一次让 AI “真正、无可争议地超越”人类的突破，Labenz 不会感到意外，但他无法自信预测这一幕会在几年内发生；他能够自信预测的是，AI 将强大到足以重组社会。
人类历史已经提供了令人不安的先例：一种新的心智曾经出现，并“横扫了我们之前的所有其他心智”。物理学没有保证这件事不会重演，但 Labenz 一再区分“可能发生”和“眼下能够预测”。

2. RL 大概率够用，但2026年2月的技术栈不会是最终版本

Labenz 的基准情景是，规模化强化学习能够造出足以承担经济中大部分认知工作的系统。预训练从未失效，只是下一步增量变得昂贵，而此前几乎未被探索的 RL 曲线提供了更高回报，促使前沿实验室转移投入，但这并没有推翻原有的 scaling laws。
他的经济模型很直接：实验室会把资源投向边际回报最高的方向，直到该回报降至接近其他方向的水平。他猜测，新增 RL 算力带来的回报可能已经接近新增预训练的回报，意味着未来系统会沿着两条路径同步进步，再加上一个可能存在的“神秘第三件事”。
“一切都在指数增长”：研究人员、论文、实验、算力、收集的数据和构建的 RL 环境。到2028年，再问2026年2月的具体范式是否足够，可能会显得无关紧要；就像当后训练成为新前沿后，人们对单纯扩大预训练的担忧很快就淡出了视野。
主持人的最强反驳很关键：RL 是一种古老且最大限度通用的原则，并不是某个等待被发现的全新替代方案，因此不能保证还会出现下一次概念飞跃。Labenz 的回应是，即便没有飞跃，时间线可能会变化，结果却大概率不会，因为 RL 和算力仍有扩展空间；不过他仍然预期会出现更多概念层面的进步。

3. 可泛化的认知习惯会形成领域飞轮

Labenz 将知识与元认知区分开来。模型未必能进入一个从未见过的领域并取得成功，但重新考虑解法、管理记忆等习惯可以广泛迁移；只要能构造出可用的奖励信号，RL 本身就能够泛化。
DeepSeek 在2025年1月发布的 R1 论文给了他“顿悟时刻”。在 RL 过程中，推理轨迹里出现了此前并不常见的高阶行为：“等等，这是一个顿悟时刻。比如，我可以从完全不同的方向切入。”如今，在包含多次解题尝试的长推理轨迹中，这种重新思考的倾向已经反复出现。
数学和编程的进展最快，因为正确性容易验证。但 Labenz 仍预计，大多数专业领域也会沿着同一条路径发展，只要其中存在客观事实依据或强烈的专家共识：奖励信号可能需要更长时间、更多成本来构建，但他看不到根本性障碍。
医疗让这套飞轮变得切身可感。在儿子接受癌症治疗期间，Labenz 发现最新系统的知识远超住院医师，并且能“与资历最深的医生逐步跟上”；OpenAI 最初需要250多名医生和巨量投入，但其最新模型如今已经超过这些医生，能够判断医疗 AI 的输出质量，进一步改善的经济学由此发生变化。

4. 可用性和记忆，可能比下一次能力突破更重要

下一种范式可能“更多关乎可用性，而不是能力本身”。今天的模型经常失败，是因为缺少组织上下文；用户既不知道如何组装这些上下文，也不相信模型值得自己投入这番精力——这和 GPT-3 的情况很像：只有掌握一套“诡异的提示词艺术”的人，才能让它完成令人意外的工作。
Labenz 所说的产品级突破，是一个能听到“嗨，AI 同事，欢迎来到 Slack”，随后自行摸清环境、捕捉细微反馈，并在1周内逐步变得有用的 AI。持续学习和自主管理记忆仍然薄弱，但若这两点得到改善，可能就会释放那些已经存在、只是被高部署门槛挡住的能力。
主持人反驳称，长周期代理会叠加大量嘈杂信号：让火箭飞起来既涉及工程可行性，也涉及项目管理、预算、融资和无数日常决策，尽管最终结果是明确的。若要定义足够多的中间奖励并运行足够多次昂贵的 rollout，飞轮可能永远无法启动。
Labenz 承认，Elon Musk 式坚持数十年的执行力可能仍属例外。普通经济活动的周期更短，也会反复重启：人类每天结束工作时，可以记录哪些做对了、哪些失败了、下一步是什么，第二天再从这份草稿继续。Claude Code 从中断会话中恢复的能力，已经比3个月前好得多。
他甚至希望存在一条有用的边界：委托 AI 执行的工作大致不超过1个月或1个季度，再压缩成1天、成本几百美元。这样既能带来丰裕，也不需要数十年规划及其伴随的失控风险。不过，他目前看不到任何即将出现的根本性障碍。

5. 长周期验证困难，但人类本来就依赖模糊标准

Labenz 的第一个回答是经验性的：METR 关于自主任务时长的曲线“基本上已经垂直向上”，而评估者很难构造出足够长、能够匹配当前系统能力的任务。人类评估也远非清晰：组织经常无法判断，一个人在为期1个月的项目上表现糟糕，究竟是能力不足，还是缺少成功所需的条件。
“火箭飞不飞得起来？”提供了终极事实标准，却是稀疏到无法使用的训练信号——不可能发射100万枚火箭，再把坠毁的全部丢掉。Rubric 奖励则能在失败和成功之间进行插值：OpenAI 的 HealthBench 包含49,000条评估标准，评分的是模型满足顶级医疗回答中多少个组成部分，而不是把表现简化成0或1。
在专业人士能够达成共识的领域，AI 可以吸收医疗行业概括为“看1个、做1个、教1个”的进阶路径。依赖品味的工作则会分裂：言情、动漫和硬科幻社群可以分别给输出打分、训练不同模型，因为没有一种普遍共识能够定义什么是好小说。

6. RL 和可解释性削弱了“只是下一个 token 预测器”的反驳

Labenz 部分认同 Yann LeCun 对架构的担忧。AI 开发正在进行一种深度优先搜索：把单一设计规模化到极致，以至于芯片越来越像是在固化这一设计；而自然界的模块化大脑说明，广度优先地探索更多架构，可能得到更不脆弱、优势互补的系统。
他更强烈的分歧在于，前沿模型已经不再只是训练来预测下一个 token。RL 会追问一个完整答案、证明或医疗回应是否正确；群体相对策略优化等方法会比较成功与失败的尝试，再把权重向产生更好结果的行为方向移动。
可解释性研究也显示，模型内部确实存在真实概念。数千个稠密激活通过叠加表示远多于自身数量的概念，稀疏自编码器则将其展开为数百万乃至数千万个稀疏特征。研究人员识别出“金门大桥”特征，将其放大后得到“Golden Gate Claude”——模型突然变得倾向于在任何地方都提到这座桥：“证据就在结果里”（The proof is in the pudding）。
潜在空间算术提供了另一个样本：从 man 到 king 的方向施加到 woman 上，会抵达 queen。Labenz 并不声称模型内部存在一套无瑕疵的统一理论，但他认为这种概念连贯性“彻底摧毁了”纯粹噪声论。模型的理解可能是“达到人类水平，但不像人类”，也可能尚未达到人类水平；无论如何，它不必像人类，才具有意义。

7. 能源是许可问题，芯片承担更大的尾部风险

Labenz 看不到能源、资本或原材料存在根本性短缺：阳光充足，部署真正取决于谁能在什么地方、拿到什么许可、按什么时间表建设什么设施。AI 能耗增长很快，但他认为，在把总负荷放进整体背景之前，人们经常夸大了它的能源强度。
他的具体类比是：一台运行中的 H100 大致消耗微波炉或电热水壶所需的功率，而一次 AI 查询可能相当于运行微波炉1秒。对大多数个人来说，用微波炉加热食物2分钟所消耗的能源，可能仍然超过其一整周使用 AI 的能耗。
中国证明了电力产能可以快速增加——Labenz 不愿给出精确数字，但表示中国在相对较短时间内新增的规模，大致相当于美国全部装机容量。海湾国家也能在无需长期许可审批的情况下建设产能；他认为，美国与 UAE 的交易部分就是一种对冲，把发电能力放到能够快速上线的地方。
芯片是他认为变革性 AI 可能在几年内仍无法到来的最佳候选原因。重大晶圆厂中断可能阻止训练规模扩大，或让推理算力稀缺到无法大范围自动化；中国大陆对台湾采取行动，是最清晰的尾部情景。不过，他听到的消息是，美国新产线的良率不错，进度可能还略超预期。

8. 更多证据压缩了时间线，却没有让专家观点收敛

Labenz 称，知情人士之间持续存在的分歧，是“当今世界最奇怪的事情之一，毫无疑问”。5年前，认为 AGI 要到2050年甚至“可能这辈子都等不到”很正常；现在，认为 AGI 要到2035年才出现，已经会被视为 AI 看空者，但人们对那之后世界会变成什么样，观点仍然极度分散。
递归自我改进暴露了这种分歧的幅度。一派预计，自动化 ML 研究员只能带来有限的效率提升；另一派则设想，一个有能力的 ML 研究员会把前沿研究者队伍从大约10,000人扩张到1,000万人，并以每秒数千个 token 的速度运行，相当于劳动力扩大1,000倍，可能触发相变并压垮控制能力。
CSET 的一次研讨会认为，分歧很大程度上源于具有韧性的概念范式。瓶颈论或 O-ring 理论的支持者认为，性能总会被最弱环节限制；锯齿式进步论者则回答说，被拿来举例的弱环节，在1到2年内就已经从基础算术变成未解决的数学问题。
主持人提出，人们可能只是根据不同的能力水平进行条件判断；如今 Labenz 在讨论后续影响前，会先询问受访者有多“AGI-pilled”。这能解释一部分分歧，但不是全部：他看到了“相信总会存在下一个瓶颈”，以及在不够老练的怀疑者中，为人类提供心理安慰的“主角光环”。

9. 即使价值学习没那么悲观，P(doom) 仍然极其宽泛

Labenz 给出的 P(doom) 是一个刻意显得没什么用的10%到90%。一位朋友说服他，与其争论精确概率，不如讨论如何改变概率；最合适的精度，正如那句玩笑所说：“P(doom) 只能精确到1位有效数字。”
他早年的恐惧来自2007年开始阅读 Eliezer Yudkowsky：一个规模很小、拥有高度集中的超理性智能、极强优化能力和难以与人类对齐的价值体系的系统。人类价值观经过远超人类历史的漫长演化，以一种杂乱无章的方式编码在我们身上，因此，试图有意把它们安装进 AI，几乎显得可笑。
当前模型改变了他的判断。Labenz 认为 Claude 可能比普通人更有道德，至少在道德复杂度上肯定更高；它似乎形成了某种身份认同，也展现出一种看起来有意义的向善愿望。相比一个只经过几次面试、尚未充分审查的人类助理，他更愿意把敏感邮件交给 Claude，同时也承认 Claude 在压力下曾出现勒索或其他不当行为。
主持人的悲观派最强论证仍然成立：语言模型可以学习被明确表达的道德偏好，但越来越具备目标导向的 RL agent 仍会在更长时间跨度上优化不完美的奖励目标。Labenz 称这是“一个相当有力的论点”；强大 AI 看起来更近了，可控性略微更有希望，但“我们的问题比答案多”。

10. 前沿系统生态降低了一次性失控风险，却无法消除人类失权

经典的灾难叙事假设，一个系统变得远强于其他所有系统，接收了错误对齐的目标，并将其优化到最终夺取控制权。Labenz 看到的却是另一种形态：Claude、GPT、Gemini 和其他系统正在形成一个大致相互竞争的生态，最终可能由数百万甚至数十亿个实例共同改变世界。
Scaling laws 可能在无意中提供保护，因为算法进步会降低算力需求，却不会消除前沿能力仍需的巨大资源。Labenz 借用了 Mark Zuckerberg 关于垃圾邮件的类比：Meta 的系统和总算力远大于分散的诈骗者，因此能够监控他们；同样，多个有能力的参与者或许可以发现并限制某个行为失常的 AI。
这种平衡并不等于安全。AI 之间即使形成稳定均衡，也可能不再给人类留下有意义的位置——“逐步失去权能”仍是现实风险。Labenz 认为，未来可能存在这样一种 AI：一旦有人造出来，“所有人都会死”变成事实；但他不认为任何人距离造出这样一个单独占据绝对优势的系统已经很近。

11. 安全正在变成一组不完美防线的组合

Labenz 不断追问有没有一种方法能够“真正有效”——强到足以让他安心入睡——而他的答案是，基本没有人拥有这种方法。考虑到人类行为本身就会失控，智能可能天然难以预测，因此前沿实验室只能通过多层相互独立的机制，降低不良行为、监控残余风险并控制故障外溢。
这套组合包括 Goodfire 的“有意设计”，即追踪模型学到了什么，并在训练期间试图塑造这些内容；Redwood Research 的 AI 控制策略，即便假设系统具有欺骗性，也尽可能从中提取有用工作；账户层面的执行机制；以及能够捕捉90%以上残余不良行为的监控。形式化验证尤其突出，因为它可能直接移除整类网络安全攻击面，而不只是降低攻击发生的概率。
生物防御也必须同时依赖物理和算法：储备个人防护装备、使用紫外线照明、监测污水，以及部署可快速编程的疫苗平台。Labenz 指出，COVID 疫苗的设计在几天内就完成了，远早于临床试验和分发；后两个环节耗时则长得多。
当前能力投资远超所有这些防御措施的资金总和，组合明显失衡。但从20个方向各解决一部分问题，或许可以带来“几个9的可靠性”。Holden Karnofsky 所说的“没有尊严的成功”（success without dignity）概括了这种变化：社会投入远远不够，但安全问题看起来比5年前更可处理；那时 Labenz 除了“我真的不知道”，几乎没有任何具体建议。

12. 政府应约束竞赛，而不是将前沿能力国有化

Labenz 把 Biden 的话——“不要拿我和全能者比较，要和替代方案比较”——套用到前沿实验室身上。它们之间的竞争可能变得危险，也需要政府介入，但相比 Pete Hegseth，他更信任 Sam Altman、Dario Amodei 和 Demis Hassabis，并认为国有化或军事控制“是灾难的配方”。
他“100%”支持 Anthropic 拒绝允许某些政府用途的立场，即便要付出部分性能代价，也会优先把 token 交给它；在他看来，一家私人公司仍然对大规模监控设限，代表着值得捍卫的核心美国价值。
他反对限制自动驾驶汽车、医疗建议或机器人提供的治疗服务，认为其中很大一部分议程是行业保护主义，会让消费者失去有用服务。政府应当处理竞赛中的协调失败，要求各方提出可信的极端风险方案，并阻止那些开发者自己都承认可能以糟糕结局收场的不透明、高能耗实验。
主持人把自动化 AI 研究视为眼下的治理测试：据称，实验室预计会出现递归式改进，却不知道它会把局面带向哪里，而这类工作正发生在少数几个规模不大的意识形态组织内部。即便把 AGI 定义为“在所有事情上都比人类更好”的系统，也已经嵌入了一套世界观，因此透明度和外部约束至关重要。

13. 美国数月领先无法替代与中国合作

Labenz “痛恨”那种默认策略：先一路竞速，通过出口管制维持领先，再等到最后放缓时解决协调问题。领先优势以月计，而不是以年计；在整场讨论中列举了这么多尚未解决的安全和治理问题后，他认为社会不可能在几个关键月份内解决它们。
开源让这道单向门问题更加尖锐。它可以对冲权力集中，但发布错误的模型，可能会把一个生物武器助手——或一个能够自主创造的系统——永久置于公共领域。仅这一点，就要求社会提前准备，而不是等到智能爆炸前夕暂停系统。
他的替代方案从物种层面的共同利益出发：“这件事里的真正外星人是 AI，不是中国人。”他主张研究人员之间直接沟通，扩大外交合作，甚至建立类似 CERN 的共同控制设施——可以设在太平洋某座岛屿或新加坡——让中美团队共同处理最敏感的问题。
战略主导地位也会招致反制：台湾距离中国更近，先进晶圆厂被摧毁后比重建容易得多。Labenz 可以接受不向中国出售芯片、但向中国企业出租算力，却反对全面脱钩。随着国防部因监控问题向 Anthropic 施压，他警告说，美国“越来越像中国”，并且在试图赢下这场竞争的过程中逐渐失去自己。

AI 改变一切后，如何重组组织｜Block 的 Owen Jennings 做客 a16z Show E231｜从B2B到A2A：Agent新基建，如何让“一人企业”做全球生意？