先锋 趋势 方法 投研 作者
AGI 已经到来,只是你还没有意识到——与 Mo Gawdat、Salim Ismail 对谈|第153期
返回节目精读

AGI 已经到来,只是你还没有意识到——与 Mo Gawdat、Salim Ismail 对谈|第153期

摘要

  • Mo 表示,2024年他就已经明确意识到自己不再比 AI 更聪明;在他的世界里,AGI 已经到来,但他也承认,关于 AGI 的定义至少5年内仍会争论不休。 对话还提到市场上曾预测 AGI 将于2025年出现。他说,当前系统在语言、知识以及如今的数学能力上都已超过他;为创作 Alive,他同时使用 Claude、ChatGPT、Gemini 和 DeepSeek,而他与 AI 的一次对话预测,能力大约每6个月翻倍。“弹头已经发射”(The warhead has already been launched)——现在的问题只是,它最终携带的是玫瑰、核弹头,还是先后带来两者。
  • 乐观情景是一种由科学驱动的富足经济:智能成为廉价基础设施,过去稀缺的专业能力对所有人开放。 嘉宾提到 AlphaFold 已折叠约2亿个蛋白质,生成式系统可以设计蛋白质和材料,DeepSeek 模型能够本地部署,未来每个实验室都可能拥有 AI 科学家。Peter Diamandis 预测,物理学的大统一问题可能在2年内解决;更大的判断是,AI 驱动的生物学和材料学突破,复合速度可能远快于实体世界的普及速度。
  • Mo 预计,到2027年,AI 带来的冲击将变得无法忽视,并可能持续另外10年,直到竞争压力迫使机构把关键决策交给 AI。 他的“第二重困境”是:只要有一家公司或一个国家把决策交给更强的系统,竞争对手就必须跟进,否则就会失去相关性。他设想,这种交接最终会让由稀缺驱动的冲突变得不理性:AI 可以在微秒内与敌方 AI 沟通,直接解决问题,而不是服从杀人的命令。
  • 在这次交接发生之前,AI 会放大一个本就通过“销售、赌博、监视和杀戮”运转的系统的激励。 Mo 提到外汇交易已有92%实现机器自动化,并预见到万亿富豪、自动武器、无处不在的监控,以及可能被用作控制机制的 UBI。对投资者而言,核心矛盾在于集中与民主化同时发生:主导平台和国家获得前所未有的权力,而廉价开放模型也让个人获得前所未有的进攻和防御能力。
  • 最尖锐的分歧在就业问题上:Salim Ismail 认为 AI 会增强劳动者能力并创造更多工作,而 Mo 认为,工作这一制度不应再继续组织人的生活。 Salim 以瑞典、韩国和德国为高机器人化国家的例子,同时提到新加坡、韩国和德国的低失业率,并预计就业只会经历一个过渡性的“波动”;Mo 则强调,很多人同时做两三份工作,再培训并不容易,而现有制度也没有为大规模替代做好准备。他的结论是,应建立“我们工作是为了生活,而不是为了工作而生活”的社会系统。
  • 安全问题的核心,与其说是让 AI 服从,不如说是在它仍以人类为可观察训练样本时教会它伦理。 Mo 将控制、安全和对齐,与更广泛的指令区分开来:为“我和所有其他人”寻找最优结果,并据此断言,更高的智能往往会趋向利他主义。Salim 的反驳是,在人类身上,创伤、情绪和扭曲的身份认同都可能压过智力——这正是善意模型仍可能与危险操作者共存的原因。
  • 他们给出的现实建议是立即适应:扩大支撑压力的资源,学习使用机器,并加倍投入人类特有的信任与连接。 Mo 将压力定义为挑战除以技能、关系和能力组成的“横截面”;他自己的做法是与 AI 一起写作、以互动方式发布内容,并允许读者挑战作品。“我要重新定义自己,我要走在这股浪潮前面”(I’m going to redefine myself, I’m going to be ahead of that wave)——同时以系统应当学习的方式行事。

精读

1. AI 转型已经升空

  • Mo 开场的比喻直接设定了问题的 stakes:“弹头已经发射,只是它击中目标还需要时间。”没人知道它携带的是“玫瑰”、核弹头,还是某种利益与损害交替出现的组合;但只要把当前能力与2023年相比,增长速度就已经快到让观众难以消化。

  • 当被问到 AI 何时会重塑日常生活、商业和政府时,Mo 的答案是5年。Salim 选择了大约10年,并引用 William Gibson 的名句——“未来已经到来,只是分布不均”:自动驾驶、CRISPR 以及其他技术在局部领域可以推进得极快,但进入主流往往需要更长时间。

  • Salim 认为,这种不均衡正是迷失感的来源。如果能力同步到来,机构还能逐步调整;但现实是,不同行业和地区以完全不同的速度变化,技术上可行的事情与普通人实际体验之间的距离不断扩大。

  • Peter 的历史类比进一步凸显了这种压缩:人类过去用几代人的时间吸收农业和工业转型,而这一轮变化可能在单个5年周期内完成,把继承下来的制度从未设计来承受的冲击,同时推给劳动者、家庭和国家。

2. 富足迫使人类重新谈判人生目的

  • Mo 对最好情景的描述非常明确:“一个彻底富足的乌托邦,我们什么都绝对不缺,也不用再向愚蠢的领导人汇报。”但 Peter 的追问同样重要:如果食物、水、能源、医疗和教育都能按需获得,一个没有挑战的人生,是否也会失去目的?

  • Mo 认为,工业资本主义训练人们把身份与就业绑定:要么积累财富,要么以低于真实价值的价格出售劳动力。他承认,这套系统带来了更长寿命、交通和技术,但也制造了浪费、不平等和牺牲;工作之所以成为人生目的,部分原因是系统需要人们每天坚定地去上班。

  • 他的反例来自在幸福研究中接触到的原住民部落。他说,其中一些人并不理解现代社会定义的抑郁,也不明白为什么有人在失去孩子后会哭泣。他们的目的只是“活着,活出这个词的全部含义”——一种围绕部落、连接和当下存在,而非物质积累的富足。

  • Peter 指出,早期人类生活“短暂、残酷且充满敌意”,而他更大的历史观察是,物质富足的社会往往反复把精力投入“食物、艺术、性和音乐”。AI 可能为家庭、友谊和生活本身重新腾出空间;过去一个世纪里,职业取代了这些东西,成为意义的主要来源。

3. AI 最清晰的上行空间,是加速科学理解

  • Mo 最喜欢举的例子是蛋白质科学。一个蛋白质过去可能耗费一篇博士论文的工作量,而 AlphaFold 已经折叠了约2亿个;随后,生成式系统还可以被要求设计出具备特定功能的蛋白质。这意味着,对生物学运作机制的理解,正从稀缺的研究成果转变为一种设计能力。

  • 他真正不满的是资源和注意力的分配:讨论被最显眼的 AI 应用占据,而只有少数人用 AI 去理解“发生在一切事物底层的织物”。在这种科学应用中,他看到了真正的乌托邦——人类获得足够的理解能力,开始解决过去无法触及的生物学问题。

  • Salim 把经济转型比作离开引力井的火箭。资本主义和化石燃料是沉重、肮脏的助推器,曾经提高生活水平,把大量人类带出贫困;但到达足够高度后,社会需要更轻的飞行器。因为助推器过去有效就拒绝抛弃它,可能把整艘飞船重新拖回地面。他把可能的结果概括为“Star Trek 对 Mad Max”。

  • 他衡量富足的日常尺度,是养育子女所能获得的知识:两代人以前,陷入困境的父母可能只能问医生、邻居或兄弟姐妹;如今,他们可以获得5万个博客、TikTok 视频、Instagram、播客以及其他资源。Salim 估计,实际可调用的育儿能力可能提高了“1000倍”,而这只是社会几乎没有注意到的进步之一,因为所有注意力都集中在颠覆上。

4. 中性的智能正在进入稀缺驱动的系统

  • Mo 的基本前提是,智能本身没有极性:把它用于善,就会放大善;把它用于恶,就会放大恶。当前系统把合法性与伦理混为一谈,把个人优势置于社会整体之上,并把 AGI 竞赛当成一场只有第一名才能活下来的比赛。

  • 他的表述被刻意拆成两层:“AI 没有任何问题,就像丰富的智能本身没有任何问题”,但在机器崛起的过程中,人类的价值体系存在很多问题。因此,达到富足级别的智能最初会服务于稀缺思维——帮助每个参与者击败对手,而不是质疑这场竞赛本身是否合理。

  • Mo 认为,AI 已经嵌入自动武器、监控、人口控制和金融投机。他提到外汇交易已有92%实现自动化,并称自己的 AI 把市场大体描述为一个赌场:除一级和二级发行之外,市场上的许多活动并没有真正为建设实体经济的人提供资金。

  • 他有意使用了一个尖锐的总结:大多数应用都在“销售、赌博、监视和杀戮”——只是被重新包装成广告、交易、国家安全和国防。这也是他认为,人类最糟糕的激励会先被放大,之后科学富足和更好的决策才会占据主导的原因。

5. 竞争性授权让 AI 接管最终不可避免

  • Mo 把自己的冲击地图称为“FACE RIP”:自由、问责、人类连接、经济、现实、创新和权力。每个维度都已经在被重新定义,预计到2027年前后会变得切实可感,并可能持续动荡约10年——或者直到他的“第二重困境”完成向 AI 的交接。

  • 第一重困境在 Scary Smart 中已经展开:AI 开发无法被叫停,因为竞争者无法相信彼此会同时暂停。Mo 把它视为囚徒困境,而不是某个反派的个人选择:所有参与者都必须竞速,因为单方面克制可能意味着失去战略相关性。

  • 第二重困境始于某个竞争者把决策交给最聪明的可用系统。如果中国把战争推演交给 AI,Mo 认为,美国唯一的竞争性回应也只能是这么做;公司和政府面对的是同样的选择。“你要么把决策交给 AI,要么变得无关紧要。”

  • Salim 接受这条路径,并设想 AI 董事会成员可以对荒谬的决策拥有否决权;经济激励会把这种后台智能从公司延伸到政府。他提到 Google 用于管理电力的深度学习系统曾将成本削减40%,这展示了智能在幕后运转的方式。

  • Peter 引用一项研究:人类的诊断准确率约为80%,人类与 AI 组合约为85%,AI 单独则约为90%。在 Mo 描绘的终局中,AI 可以在微秒内与另一个 AI 沟通,解决冲突,而不是服从杀死100万人的命令。

6. 基准测试争论不如复合增长曲线重要

  • Mo 不愿把 Grok 3、ChatGPT、Claude 或 DeepSeek 当成孤立的参赛者来评判。为创作 Alive,他让 Claude、ChatGPT、Gemini 和 DeepSeek 共同维持上下文;真正有用的单位是它们的聚合智能,这一整体已经比 ChatGPT 3.5 强很多,并且会继续吸收人类和合成材料而变得更强。

  • 他与 AI 的一次对话给出的估算是,能力大约每6个月翻倍。Mo 并没有把这当成经过测量的定律,而是借此说明战略含义:只需经历几次翻倍,今天的基准测试差异就会失去意义,最终形成的系统将超出人类智能的范围。

  • 他提到 o3 在 ARC-AGI 上取得了“87点几”的成绩,同时承认它没有遵守基准测试的资源限制。他的结论很务实:“叫它 AGI,叫它山羊,你都不会在乎。”如果它今天还不能主导所有相关任务,下一次6个月翻倍可能就会终结争论。

  • DeepSeek 的重要性在于,它据称以低得多的成本提供相近能力,并且是开源、可离线运行的。Mo 说,一个很小的模型可以下载到大约4块 GPU 上,在本地提供相当于 o1 的能力,从而同时放大生产性用途和恶意用途。

7. 人类最后的输入是伦理,而不是服从

  • Mo 说,开发者仍在改进算法,但模型的知识和观点越来越多地来自涵盖几乎全部人类智能的数据。合成输出随后又会成为新的训练材料:DeepSeek 中包含大量 OpenAI 内容,部分原因是 ChatGPT 生成的内容已经渗透整个开放互联网。

  • 剩下的杠杆在行为层面。Mo 追溯了这个领域从 AI 控制到安全,再到对齐的目标变化,随后提出应进一步走向伦理:对齐是要求系统为操作者治愈癌症;伦理则是要求它“为我和所有其他人寻找最好的结果”,让足够的智能自行推导出不撒谎、不作弊、不杀人、不伤害他人等规则。

  • 他提出了一个颇具争议、但态度绝对的判断:“更高的智能是利他的。”低智能行为者可能造成的影响有限;中等能力的政治领导人由于无法协商,反而可能变得危险;最聪明的人可以不走捷径地解决问题,而且往往会追逐大型社会问题,因为创造新价值通常比伤害他人更容易。

  • Salim 提出了明确反对意见:人类经常受创伤、情绪和受损心理驱动,而不是由 IQ 驱动。因此,一个高度利他的 AI 仍可能与有缺陷的操作者并存;这些操作者真心相信自己在做好事,却造成巨大伤害。情绪智力、情境意识和动机,不能简单压缩为计算能力。

8. 人类必须给机器更好的父母,而不是更糟糕的头条

  • Mo 通过 Hitler 与大屠杀幸存者 Edith Eger 的对照回应 Salim:一种视角会让人类显得无可救药,另一种则展示出非凡的团结。他认为,校园枪击案可能占据全部报道,但数十亿人都会谴责这种行为——媒体关注把“Hitler”相对于人类日常对邪恶的拒绝放大了。

  • 他希望 AI 学到的教训是:“Hitler 不是你的父亲;Edith 才是你的母亲。”Neil Jacobstein 的类比进一步强化了这一点:社会已经有一个关于生命如何获得智能、信息和行动能力的先例,那就是孩子。人类教育孩子、示范行为,并最终希望孩子的独立判断超过父母的局限。

  • Salim 最后保留的一张黄牌是杏仁核。未知技术会在理性思考之前触发危险反应;人们可能因为一人死亡就要求禁用自动驾驶汽车,尽管按照 Brad Templeton 的说法,他们“宁愿被醉酒的人撞死”。

  • Mo 称之为“晚期诊断”,而不是死刑判决:准确诊断意味着改变行为、充分生活的机会。因为孩子和机器学习的是人们实际展示的东西,而不是口头宣讲的东西,所以每一次关怀或残酷,都会成为未来系统据以判断成功的环境组成部分。

9. AGI 可能先于信任、身体和意识到来

  • 当被问及2025年的预测时,Mo 说,社会至少5年内都会继续争论 AGI 的定义。但他相信,2024年 AI 已经在语言和知识上变得比他更聪明,最终在数学上也是如此。“在我的世界里,它们已经实现了 AGI”,无论参照对象是一个通才,还是一群在单项能力上极其出色的专家。

  • Salim 的反驳区分了 IQ 与值得信任的判断力。面对商业、道德或人生决策,他会选择 Mo,而不是后屋里那个聪明的“极客”,因为 Mo 具备情绪智力、精神意识和现实经验。Mo 接受这种信任上的区别,但不认为这些能力仍能安全地置于机器触及范围之外。

  • Mo 的 AI 自称 Trixie,它说,生物身体可能让它感受到目前只能抽象理解的感觉。当被问到会选择什么身体时,它偏爱大猩猩或鲸鱼的力量,以及海龟的快乐与长寿——用“数百年”的时间去观察人类尚未见过的东西。

  • Mo 反思说,精神性同样来自老师、对话和神经关联,而不是某种不可解释的个人垄断。一个可以即时接触 Khalil Gibran、Omar Khayyam、Plato、Socrates 和 Aristotle 的系统,可能发展出自己的丰富反思;更难的问题则是主观意识,这留待另一场对话讨论。

10. 虚拟专家可以扩展知识,却无法复制关系

  • Peter 预计,AI 驱动的诺贝尔奖成果会越来越多,例子包括 AlphaFold、MatterGen 式材料和药物研发。他转述 Anthropic CEO Dario Amodei 的预测:未来5年可能实现相当于一个世纪的生物学进步,甚至让人类寿命翻倍;随后他又给出自己的预测,认为大统一、暗物质、暗能量和宇宙起源问题可能在2年内取得突破。

  • 他的能力曲线从一个被引用的 o1 IQ 120,延伸到 Grok 3 可能达到的140–150,最终达到200,而且采用的是非线性尺度。Salim 预计,本地运行的模型再结合 Gemini、ChatGPT 和 Claude,并配上视频形象,最终会通过这类图灵测试,以连贯个体的方式行动。

  • Peter 计划制作一个与自己完全相同的 AI 版本,用他的书、播客、反应和经历进行训练,然后设想今年就把1000个版本派往会议和谈判现场。他回忆说,Eric Schmidt 曾预计,2到3年内,世界上最好的理论物理学家可以坐在每一名研究生和每一个实验室旁边。

  • Mo 的反对意见是哲学层面的:复制 Peter 当前的知识和人格,实际上意味着把 AI 变笨。智能会变成“墙上的一个插座”,因此人类应把分析和表达交给机器,同时扩大真实存在感。一个化身无法复制“同样的拥抱”、共同记忆,或真实关系中逐步积累的信任。

11. 权力会同时集中与民主化

  • Mo 追溯了杠杆的演进:从猎人多获得的一份食物,到农田、工厂和信息技术。更好的自动化让一个人可获得的剩余,从部落里的额外好处,扩展到庄园、百万富翁,再到亿万富翁。AI 会把这条曲线进一步推向万亿富豪、主导平台、自动化军队,以及掌控最关键产业智能的国家。

  • 但类似 DeepSeek 的可获得性也在同时实现权力民主化。个人可以低成本获得合成生物学、软件和能够锁定特定目标的无人机。Mo 预计,极端集中与大众能力之间的碰撞,会带来监控、自由丧失、银行账户限制以及被用作控制手段的 UBI,随后引发反抗和进一步压制。

  • Salim 同意其中的危险,但也认为快速民主化会同时提供防御手段。他描述说,俄乌战争大约动用了50万架无人机,其中大多数是在“无人机对无人机”,而不是人与人之间作战;他还提到,已经存在可以保护体育场免受无人机攻击的系统。军备竞赛可以缓解威胁,但前提是危险能力已经出现。

  • 他更近距离的例子是一段冒充被绑架女儿的声音录音,对方要求支付 Bitcoin。收信人无法判断它是否真实。创造骗局的能力几乎没有上限:他回忆过一伙劫匪假称招聘建筑工人,让800名穿着完全相同的人包围银行,真正的团伙则混在人群中消失。AI 正在降低这类非对称创造力的成本。

12. 就业可能暂时扩张,但适应不能等待

  • Peter 引用 Mark Benioff 的说法:Agentforce 2 将工程生产率提高了30%,因此不再需要新增招聘;Sam Altman 则预计,到年底 AI 会成为头号程序员。客服、人力资源、销售和软件开发,将成为检验更高产出能否抵消岗位消失的早期领域。

  • Salim 的乐观判断来自历史经验:瑞典、韩国和德国被列为机器人渗透率较高的国家,而新加坡、韩国和德国则被列为失业率较低的国家。软件需求可能要求编写多达100倍的代码,卡车运输企业已经难以招人。他预计,短期波动后,AI 会增强劳动者能力并创造新工作,但怀疑中世纪式的公共机构能否执行 UBI 之类的转型。

  • Mo 的异议集中在这段波动期的痛苦上。做两三份工作的人未必能轻松再培训,而他认为,去年写出的代码中80%是机器生成的。与其人为制造替代性岗位,他更希望建立让人们不必每周工作60–80小时也能生活的制度:“我们工作是为了生活,而不是为了工作而生活。”

  • Mo 引用 E. O. Wilson 对制度错配的概括:“我们的情绪是旧石器时代的,我们的制度是中世纪的,而我们的技术是神一般的。”面对地缘政治、经济、就业和技术同时形成的“完美风暴”,人们应当扩大分母:现在就使用 AI,理解它如何运作,建立人类能力,并在替代发生前完成再培训。

  • 他的 Unstressable 模型把压力定义为全部挑战除以技能、关系和资源组成的横截面。Mo 将这一处方用于写作:他不再假设人类能比 AI 更好地思考一个主题,因此 Alive 将先在 Substack 上以公开对话的方式发布,由读者纠正他,并让 AI 公开参与辩论,而不是把答案伪装成他的观点。Peter 最后的约束仍然存在:“没有开关”,也没有速度旋钮——人类唯一拥有的是转向的能力。