AGI 仍需30年——Ege Erdil 与 Tamay Besiroglu

摘要

• 核心判断：远程工作的全面自动化将在2045年前后到来，而不是2027年。 Tamay Besiroglu给出的年份是2045年；Ege Erdil更为乐观，Dwarkesh则建议把Ege的预测提前5年，或下调20%。逻辑是：AI大约每消耗3个数量级的训练算力，就解锁一项重大能力（游戏、语言、推理）；自AlexNet以来已经消耗了9-10个数量级，而能源和晶圆制造约束意味着，在AI基础设施成为全球产出的显著组成部分之前，可能只剩“3或4个数量级的扩展空间”。
• “智能爆炸”是分类错误——“就像把工业革命叫作马力爆炸”。 他们的核心观点是，变革性增长来自供应链、资本、数据和部署的广泛同步升级，而不是数据中心里的天才；“今天的世界并不是完全被缺乏足够好的推理能力所卡住”。
• 纯软件奇点不太可能，因为算力与认知劳动是互补品：软件进步历来跟随硬件，约30%/年，与摩尔定律一致；重大创新（transformer、flash attention、chinchilla）本质上都在于更有效地利用算力，而真正产出算法的是GPU充足的实验室，而非学术界。 Dwarkesh以Kokotajlo的调查作为反证：只有1/30算力也能取得2/3的进展；对方回应称，“不均衡扩展”实验从未真正进行过。
• 他们接受的证伪条件包括：AI下载一款训练截止日期之后发布的Steam游戏，在没有攻略的情况下通关；以及OpenAI实现5000亿美元收入。 仅1000亿美元收入则“可能有40%的概率”，并不足以构成重大更新——“人们每年为石油支付数万亿美元”。
• 他们仍然定量预测约30%的爆炸式增长：一块H100约能达到1e15 flop/s，大致相当于人脑，成本约3万美元；以5万-10万美元的工资运行“人脑的软件”，大约一年即可收回成本，意味着经济翻倍时间接近一年。 增长差异将“更多由监管司法辖区边界决定，而非其他因素”；Dwarkesh认为全球协调将其压制的概率为10%-20%，Ege认为这并不离谱。
• 接管风险被高估，价值锁定则更是如此：一个占主导地位的AI经济体接管人类，就像问“美国为什么不直接入侵危地马拉？” 当你已经获得大部分收入时，战争是低效的。Dwarkesh以东印度公司反驳：“他们不就是直接接管了吗？”但更深层的判断是，价值锁定“与历史上发生过的任何事情都非常不同”：奴隶制的终结来自经济激励，而非废奴主义者的美德。
• Mechanize认为应当加速：每延迟一年，可能损失数十万亿美元消费，或许还会多死1亿-2亿人；而暂停未必能换来安全，因为“想象一下，你在2016年、拿着2016年的算力预算推进alignment。 基本上，你什么也做不成”。
• 真正被低估的解锁点是AI公司，而非AI天才：可复制的员工为企业补上了进化的第三条腿——高保真复制；再加上可对齐的偏好，以及一个审查每条pull request的“超推理规模超级Jensen”。 这也会强化中央计划的论据，但仍不足以证明其正确：Apple可以管理古代Uruk的经济，“但今天的Apple无法管理今天的世界经济”。

精读

1. “智能爆炸”其实是马力爆炸——理解转型的错误视角

• Tamay开场便指出，这个概念“并不是特别有用”——“有点像把工业革命叫作马力爆炸”。工业革命确实带来了物理力量的爆发，但真正发生的是农业、交通、法律、金融、城市化等一系列互补变化。同样，“我们会得到很多非常聪明的AI系统，但这只是诸多不同环节中的一个。”
• 与短时间线科幻叙事的核心分歧在于：智能不是增长的绑定约束。“今天的世界并不是完全被缺乏足够好的推理能力所卡住。”加速需要互补性创新、升级供应链、新产品需求，以及整个经济体同步扩张，而不是“非常、非常、非常好的推理token”。
• 两人都认为ASI不是一个有用的操作性概念：它在逻辑上自洽，但“我更愿意直接思考现实中究竟会发生什么”。AI的能力分布本来就不平整；即便没有一个在所有方面都超越人类的系统，也可能出现剧烈加速；反过来，即便有一个“非常昂贵或非常缓慢”的ASI，也可能什么都改变不了。

2. 时间线数学：每约3个数量级解锁一项能力，而只剩3-4个数量级

• 核心预测是：一个可以直接替代远程员工、能够完成远程工作中“字面意义上的一切”的系统，Tamay认为“对我来说，可能要到2045年前后”。Ege更为乐观；Dwarkesh建议把Ege的预测提前5年，或下调20%。
• 推理链条是：自AlexNet以来，AI经历了9-10个数量级的算力增长，并解锁了少数几项核心能力——游戏能力（2015-20年）、复杂语言能力，随后是抽象推理、编程和数学——大致每3个数量级解锁一项。剩余缺口包括长时程连贯性、能动性和完整的多模态理解，这意味着还需要更多次能力解锁；但对能源、GPU产量和晶圆制造约束的外推表明，在数据中心消耗全球产出一个不可忽略的比例之前，可能只剩“3或4个数量级的扩展空间”。
• 他们反对两个方向上的简单趋势外推：多头沿趋势线外推，认为“显然2027年就会发生”；Robin Hanson则外推经济中已经自动化的微小份额，得出“需要几个世纪”。两者都不成立。
• Ege明确指出了其中的世界观分歧：多头把工作想得过于简单。“很多人看着经济中的工作，会说，‘哦，那个人的工作就是做X。’但事实并非如此。”订机票只是任务碎片，自动化订机票并不等于自动化那个人的工作。

3. “解锁束缚”之争：推理只是事后看起来容易

• Dwarkesh转述Leopold的观点：这些是被人为限制的“婴儿AGI”，ChatGPT已经证明，后训练阶段增加1%的额外算力就能解锁一整项能力；既然如此，能动性为什么不行？Ege的反驳是：“5年前你也可以提出类似观点”——当时人们试图把AlphaZero扩展到数学领域，“但效果并不好”。
• 一位嘉宾更深层的反驳值得完整保留：推理之所以显得廉价，是因为它“站在一座巨大的技术栈上”——互联网规模的数据、蒸馏、推理效率；但“如果你让某人在2015年构建一个推理模型，那看起来会是不可逾越的难题”。他们预测，回看3-5年后，能动性也会显得同样简单；只是那时已经完成了若干年互补性创新，而这些创新今天没人计入。
• 对METR任务长度每7个月翻倍的曲线，质疑集中在构念效度：评测任务必须“紧凑、封闭且指标清晰”——“那些并不是你在AI研发中真正处理的问题，而是非常人工的问题。”一个人如果擅长这些任务，可能确实是优秀研究员；但一个AI如果擅长这些任务，“还缺少人类所具备的太多其他能力——不只是研究员的能力，而是普通人的能力”。

4. Moravec悖论与缺失的创造力：有知识，但不会重组

• 这一框架认为，AI在最令我们印象深刻的领域跑得最快——国际象棋、围棋、竞技数学、计算100位数字的乘法（“最先被解决的那个”）——正是因为这些技能在进化史上出现得较晚，进化几乎没有针对它们进行优化。对人类而言，这些能力与一般能力相关；在AI身上，这种相关性却会断裂：o3 mini在竞技编程上名列前茅，“但它并不是最擅长真正帮你写代码的模型”；企业编程收入“就是Claude”。
• 能动性缺口最好的样本是Claude Plays Pokemon。模型可以在你卡在Mount Moon时准确告诉你下一步该做什么——“但这并不能阻止它自己卡在Mount Moon 48小时”。显性知识与行动之间没有接上。
• 一位嘉宾给出了最尖锐的实证质问：推理模型“从字面意义上知道的东西比任何人类都多”，但“推理模型有没有提出过一个哪怕在人类数学家看来略微有趣的数学概念？我从未见过”。尽管它拥有跨领域重组的巨大空间，却连周日杂志级别的新颖性都没有。Dwarkesh反驳说，这些模型存在还不到6个月，也没有接受寻找连接的训练；对方回应称，考虑到其庞大的知识库，零产出“其实相当惊人”。
• 他们给出了明确的更新条件：一个agent下载任意一款训练截止日期之后发布的Steam游戏，在没有教程的情况下通关；或者OpenAI实现5000亿美元收入——“1000亿美元，我觉得相当可能……也许有40%的概率”，但这不会带来巨大更新，因为“人们每年为石油支付数万亿美元。人们愿意为某样东西支付很多钱，并不意味着它会改变世界经济”。

5. 反对纯软件奇点：算力与认知是互补品

• 论点分为两部分：“研究比人们想象的更难，而且高度依赖算力规模。”后半部分的证据包括：传统软件进步约30%/年，“基本上与摩尔定律一致”；AI的算法加速与深度学习算力扩张同步发生；创新集中在GPU充足的实验室，而非GPU贫乏的学术界；这一时代的重大突破——transformer、flash attention、chinchilla——“本质上都只是更有效地利用算力”。
• Dwarkesh提出了几组反证：OpenAI击败了算力更充足的DeepMind；Daniel Kokotajlo的调查发现，算力只有1/30的研究人员仍能取得1/3的进展；一位“被打通任督二脉”的研究者告诉他，当前模型在接近自动补全的工作上每周节省“4-8小时”，但在陌生领域每周节省“24-36小时”——“把这个趋势继续外推就行了”。
• 对调查和个案的回应是：互补性并不意味着算力最多的实验室必然胜出——任何一个因素都可能成为瓶颈，失灵的组织文化也会浪费算力；而决定性实验从未进行过。“你不可能在行业层面观察到，如果整个行业只有少30倍算力，会发生什么”，个人还会从外溢效应中获益。Dwarkesh呼吁实验室公开多团队预训练资源实验；对方回应称，即使这些实验也无法定论，因为真正需要的是“极度不均衡的扩展”，而这种实验既低效又罕见。
• Ege给出了一个坦诚的条件性判断：如果AGI在2027年出现，那么纯软件奇点的概率“相当高”——“你已经假设算力不会很大，所以一定是软件进步非常多”。

6. 爆炸式增长是广泛扩散，不是“沙漠里的深圳”

• 他们反对封闭园区模型：复制半导体供应链极其困难，因为它需要“来自世界上可能几十个随机地点的大量投入品和材料”；前沿训练还搭了整个经济体生产的30年互联网数据的便车。广泛部署本身就是数据引擎：ChatGPT不断询问“哪个回答更好”，实际上是在“通过这种极其广泛的部署获得用户数据……想象一下这个过程继续下去”。
• 对监管的直觉判断，人们常从住房、核能、超音速飞行等领域外推；但这些技术不会让产出翻倍。AI的价值“即便只对劳动者而言也极其巨大”，因此401k账户和房产持有家庭“会好得多”，政治支持可能比默认的失业反弹逻辑更深。
• 地理上的预测是：各国之间会出现明显异质性，增长将“更多由监管司法辖区边界划分，而非其他因素”。更具挑衅性的判断是，最终胜出的规范未必是古典自由主义规范，而可能是“我们会采用比如UAE发展出来的那类价值观和规范”，以优化AI部署。两人明确表示，这只是说明性例子，并非强预测。
• 中国的繁荣只展示了一半图景：大规模资本积累，却没有同步扩大劳动力规模；AI则同时扩张资本和劳动力。至于“深圳就在你家后院”的警报，关键尺度是美元产出，而美国仍然领先；“人们已经认为中国是个大问题”，因此没有理由据此做出强更新。

7. 技术是资本深化，不是灵光乍现——海狸表情包式的历史观

• 贯穿始终的主线是：以发明为中心的历史叙事低估了部署。太阳能电池板方面，“20年前没人手里有一张2025年太阳能电池板的设计图”；效率来自思想、建造、学习曲线和更好材料之间的相互作用。Edison的灯泡也是如此：想法本身很简单，真正的工作在于灯丝实验，以及为原本没有电的家庭建设发电厂和输电线。那个表情包里，两只海狸看着Hoover Dam说：“嗯，不是我建的，但它基于我的一个想法。”
• 一位嘉宾最喜欢的因果链是：“我们发现Big Bang，是二战的结果。”战争带来无线电通信，无线电通信催生射电望远镜，射电望远镜发现宇宙微波背景。经济活动的表面积越大，偶然发现就越多：“经济活动越多，我们暴露在外、能够发生更多发现的表面积就越大。”
• Dwarkesh提出、并得到认可的元观察是Conquest定律：“你对一个主题了解得越多，就会对它越保守。”他比任何其他行业都更了解AI，也更清楚AI背后投入了多少；记者问“我们是不是应该联系Geoffrey Hinton”，其实“有点没看见全貌”。Gell-Mann失忆效应的含义是：对其他所有行业也应保持同样的尊重。
• 关于功劳归属，接近O-ring理论的观点是：研发是必要的，但生产食物同样必要。“重点不是说，只要扩大劳动和资本就能到达Dyson sphere……但你也不可能只扩大TFP就到达它。你必须同时扩大一切。”产出弹性大致为：劳动约0.6、资本约0.3，单独扩大任何一项都不够。

8. 接管：可能发生，但战争效率低——价值锁定也是弱论据

• 核心类比是：一个协调一致、占据经济主体地位的AI群体确实可能接管人类——“但这在我们的世界里大概也是真的……美国为什么不直接入侵危地马拉？看起来它完全做得到。”当AI已经获得“经济中几乎全部收入”时，没收人类剩余收入的边际价值很小，而破坏AI自身成长于其中的规范也有代价。单纯的不对齐不会导致冲突；相关文献还需要加入对相对实力的误判，或不可妥协的神圣目标。
• Dwarkesh最有力的反驳是：东印度公司“本来可以继续和莫卧儿帝国做贸易——但他们不就是直接接管了吗？”和平谈判也不能排除接管：鸦片战争后清政府的安排，“并不比一开始就没和大英帝国发生接触更好”。此外，AI是低交易成本的复制体，协调能力比“年轻人为什么不协调起来”这类问题暗示的更强。Ege承认这种可能性，但指出今天的模型表现为：“我同意，有一些证据说明它们是好孩子。不，不只是一些证据。”这也是针对Dwarkesh引用OpenAI思维链奖励劫持论文的回应。
• 关于价值锁定，“永远只有一个效用函数”的图景“与历史上发生过的任何事情都非常不同”。即便数字信息也会出现链接失效，而数字化恰恰伴随着更快的文化变化。更深层的判断是，未来价值取决于哪些价值在未来的技术经济环境中“具备功能性”，而不是取决于一千年前采取过什么行动。
• 奴隶制案例引发了长时间争论。Dwarkesh认为英国废奴主义者（以及基督教）证明了个人可以扭转历史方向；反驳则指出，俄国在1860年代废除农奴制时并未受到英国压力，残酷的殖民劳工也逐渐减少，而工业革命创造的财富让此前受压制的平等主义偏好得以表达。“导致奴隶制终结的力量，看起来并不是偶然力量。”Dwarkesh回应称：如果财富能让价值观获胜，“那就更说明价值对齐至关重要”。

9. 以认识论谦逊制定政策：二战轰炸预判失误，以及为何仍应加速Mechanize

• 预测失败的最佳样本是二战前的英国：当时预计战争最初几周会有数十万人死于空袭。现实是，“他们在6年里的伤亡还没有预期3周的多”——误差约2个数量级，原因却是一些乏味的现实因素：白天轰炸会被击落，夜间轰炸打不准，消防员在工作，盟军每摧毁1美元德国资本要花费4-5美元。启示是：今天对AI进行的详细战争推演“最后看起来会相当可笑”；更好的做法是建设适应能力和更好的制度。
• 整场争论背后的潜在变量是：“推理的力量究竟有多大？”给出的答案是有限的。“现实世界拥有极其丰富、极其细致的内容，你不可能只靠推理理解它。你需要亲眼看到。”Dwarkesh在数周内听完不同嘉宾、反复摇摆后的结论是：“古典自由主义是我们应对认识论不确定性的方式。”因此应当去中心化，避免将实验室国有化这类脆弱且高波动的动作。
• 加速的理由在于：他们不接受速度必然以安全为代价。“想象一下，你在2016年、拿着2016年的算力预算推进alignment。基本上，你什么也做不成。”扩展规模也会推动对齐进展。延迟的代价虽有条件性，但相当具体：每年损失数十万亿美元消费，此外每延迟一年或许会多死1亿-2亿人，按每条统计生命最高1000万美元估值。要反对加速，就需要相信长期主义杠杆足够大，而他们认为这种杠杆很小：“对自己能实现的事情保持更多谦逊，把注意力放在更近的未来。”
• 针对Dwarkesh提出的数字心智痛苦担忧——“我不想要价值整个星系的痛苦”——实际建议是不要放弃：出于认识论而非道德原因，对未来进行折扣；让当前系统对齐到幸福价值；并建设制度能力，以便在工厂化养殖等价物出现时进行干预。

10. 给反对意见定价，以及真正的解锁点是AI公司

• 他们同意Tyler Cowen关于撒哈拉以南非洲的论点：清洁饮水并不需要稀缺的智能，但我们仍然无法交付。这一论点击败的是“数据中心里的天才”，而不是他们的广泛建设模型。Baumol和O-ring理论需要定量处理：泛泛而谈的质性瓶颈“并不够”，必须说清楚具体行业、该行业的产出份额，以及替代弹性。即便存在最严重的瓶颈，重新配置资源仍能带来巨大收益：“软件工程师会转为体力劳动者”，并获得更高工资。他们的正向计算是：H100约等于1e15 flop/s，约等于一颗人脑；成本约3万美元，能替代5万-10万美元工资，因此经济翻倍时间大致为一年。
• 他们最重视的反对意见是监管。Dwarkesh提出全球协调阻止爆炸式增长的概率为10%-20%；对此的回应是，这并不离谱——“世界确实有惊人的能力去协调，决定不推进某些技术”，人类克隆就是例子；但AI更有价值，也更直接关系到国家安全。至于军备竞赛，即便领先一年，也未必能打破ICBM时代的威慑：把1990年的中国代入，战争仍然缺乏吸引力。
• 他们共同撰写的博客文章提出了AI公司的论点：今天的公司拥有选择和变异，却没有高保真复制；可复制的AI补上了进化三要素中的最后一环。可以把Jeff Dean复制到任何领域；也可以运行一个每年消耗1000亿美元推理、负责撰写每份新闻稿并审查每条pull request的“超推理规模超级Jensen”，再把结果合并回他自身。除此之外，还有可对齐的偏好（委托-代理问题“可能会消失”）、规模经济——2倍GPU同时带来更聪明和更多的员工——以及一次学习、而非让每个人从头再学一遍。
• 他们长期私下争论的中央计划问题，论据变强了，但仍未被证明正确：集中式感知与处理、规模大出多个数量级的规划者大脑（今天的CEO并不比员工拥有更大的大脑），以及类似Tesla FSD的总部推送更新，都支持中央计划；但复杂性也会同步增长。Ege最后说：“想象一下，如果Apple负责管理Uruk的经济。我觉得它其实做得到……但今天的Apple无法管理今天的世界经济。”