先锋 趋势 方法 投研 作者
Jensen 回击末日论者,Xi 与 Trump 谈 AI,“AI”换了个名字 | #294 MOONSHOTS Live
返回节目精读

Jensen 回击末日论者,Xi 与 Trump 谈 AI,“AI”换了个名字 | #294 MOONSHOTS Live

摘要

  • Peter 开场给出乐观框架:AI 是“喷气背包”,不是手榴弹;目标是识别问题、寻找联合创始人,打造变革性解决方案。 本期围绕最近这场“恐惧疫情”的主流判断是:Dario 发文、Sam Altman 表示认同、Elon 和 Demis 加入讨论,以及 Sam 和 Dario 在安理会警告风险,真正更迫切的担忧是恶意使用和误用,而不是 AI 突然失控。Jensen 称 Jeffrey Hinton 所说的社会被摧毁概率为10%是“无责的”,且“没有科学依据”;Zuckerberg 则表示,只要人类负责任地行动,未来可以是积极的。Alec Wiseman Gross 警告,正如他认为核恐慌所造成的后果一样,道德恐慌可能让人类损失50年进步;他的核心判断是“P(doom) 小于零”,最坏结果是发展放缓。Celine 回应称,P(fab) 是 P(doom) 的1,000倍,同时承认人类确实具备制造风险的能力。
  • Peter 最尖锐的结构性判断是,这场安全推动类似于试图组建一个“AI安全卡特尔”。 他认为竞争有益,并回顾 OpenAI 的成立本就是为了制衡 Google DeepMind;防御性协作应随能力提升而扩张,而不应取代开发。Peter 给出城市类比:不能因为城市滋生犯罪就禁止城市,而应建设警察、消防部门及其他保护性基础设施。Emad 认可建立新结构的必要性,并认为嵌入医疗、法院、道路和学校的功利型 AI,应与前沿 AI 区别对待,甚至可以在服务社会的前提下获得责任豁免。
  • 美中 AI 治理讨论围绕改名、不信任与彼此竞争的政治恐惧展开。 Peter 称华盛顿拒绝全球主义方案,并开玩笑地把这个领域改名为“超级集体智能”。Emad 认为,改名可以转移类似 Bernie Sanders 式的政治反弹,同时让开发继续推进并保持对中国的领先。当被问及中国和美国是否会相互信任时,他回答“不”:中国既担心中共自身的存续,也担心 AI 穿透 Great Firewall。Peter 表示,产品造成伤害时,实验室应承担责任,并指出各实验室一直在寻求责任豁免;他另称,服务社会所必需的基础设施 AI 可能值得获得这类保护。
  • Bernie Sanders 的反提案——全面禁止 ASI、在新监管出台前暂停先进 AI、设立内阁级 AI 部——遭到全场抨击。 Dave Blandin 表示,恐惧本身就可能让“拿不准时什么都不做”成为默认行为,而真正的风险包括恐怖分子利用 AI 制造生物武器,以及中国加速领先。Alec 称,对机器、人类或混合智能设定法律上限,等同于“21世纪的共产主义”,并强调数据中心投资一旦转移就不可逆。Emad 追问,什么证据能够让双方改变立场;他认为本地模型普及后,单个政治人物的决策将不再那么关键,并称禁止 ASI 等同于禁止数学和言论自由。
  • 发布节奏本身就是故事:22天内发布12个主要模型,5天内发布4个。 Meta Muse 可以订机票、点餐、管理日历,并以280万次下载登上 App Store 第一名,Meta覆盖38亿人的分发能力助其一臂之力。一位自称担任 Epicor 董事长的嘉宾表示,包括 Epicor 在内的股票因投资者担心个人 AI agents 将绕过搜索、保险和按揭业务的中介环节,连续2天各跌15%。Opus 5.5 被描述为以一半价格达到稳定版 5.1 的表现;Emad 称其为“第一个真正有能力的模型”。他还表示,Anthropic 在视频、动画和图像上采用程序化、向量式路径,有别于 OpenAI 的光栅或像素式策略,双方最终可能在机器人领域正面碰撞。Dave 称,随着规模扩大,幻觉已大幅减少;Peter 则提醒,即便模型99.9%的时候都正确,也可能制造危险的过度信任。
  • DrivingBench 用物理世界给出了苦涩教训:一个通用版 GPT-6 Astra 仅凭一句自然语言指令,就让 Toyota Corolla 通过130米的锥桶赛道,并在第二次尝试中100%完成。 Boris Power 称这是专用模型“棺材上的最后一颗钉子”,Alec 则认为,机器人很快可能只需要一个装进机器人身体的通用模型。Dave 的保留意见很关键:测试没有披露算力成本,瓶颈正从模型转向算力,再转向能源。HBM内存价格已涨至原来的5倍,嘉宾估计未来2年能源缺口约为60 GW。
  • 生物学是终局押注:Anthropic 的生命科学团队和湿实验室使用950个 Claude agents 工作21小时,搜索 DNA 数据库并找到一种此前未知的、类似 CRISPR 的模式,后来被称为“大规模关联逆转录酶”;其功能仍然未知。 Alec 称,前沿实验室一边警告 AI、一边利用 AI 探索生物系统,这种做法很虚伪;Salim 则指出,CRISPR 让人类成为一个软件工程问题,同时带来收益与风险。Salim 认为,要解决5,000种重大疾病,或实现摆脱衰老的逃逸速度,可能都需要超级智能。“生物学千年难题”框架强调那些难以解决、却能在短期内验证的目标,例如生命起源、冷冻保存和肢体再生。Peter 提到,1.01亿美元的 Healthspan XPRIZE 已从长寿转向可测量的逆龄。Alec 的路线图是,用大规模干预数据训练细胞数字孪生体,再像 AlphaGo 的树搜索一样,寻找把患病状态推向健康状态的干预方案;他最后宣布:“生物学结束了。”

精读

1. 末日论之争:Jensen 与 Zuckerberg 搭建论点

Peter 开场称 AI 是“喷气背包”,不是手榴弹,并鼓励听众寻找问题、选择一个登月式目标、把它说出来,再找到联合创始人、投资人或合作伙伴把它做出来。随后,节目转向过去2周的“恐惧疫情”:Dario 发文、Sam Altman 表示认同、Elon 和 Demis 加入讨论,以及 Sam 和 Dario 在安理会警告存在生存级威胁。

Jensen 的一段视频否定了 Jeffrey Hinton 所说的社会被摧毁概率为10%,称这一判断无责且“没有科学依据”。Zuckerberg 表示,只要人类负责任地行动,未来可以是积极的,并称每个实验室都应分析自身系统的风险。

Emad 给出了一张更聚焦的风险图谱。他说,OpenAI 的泄密事件反映的是糟糕的安全协议;更迫切的危险,是人类有意或无意地滥用 AI,而不是 AI 突然失控并摧毁所有人。Peter 也作出同样区分:真正的危险在于恶意使用 AI。

Alec Wiseman Gross 表示,围绕核能的道德恐慌至少让人类损失了50年进步,而围绕超级智能的恐慌可能再损失50年。他 T 恤上的核心判断是“P(doom) 小于零”:最坏结果是发展放缓。Peter 问 P(fab) 与 P(doom) 的概率差距,Celine 回答“1,000倍”,理由是人类一直在用技术增强自身。她同时指出,99.9%的物种已经消失,从进化角度看这很正常,而人类大脑天生更倾向于负面判断。

2. Peter 的卡特尔论与治理之争

Peter 表示,过去2、3周看起来像是在尝试组建一个 AI 安全卡特尔,而这种冲动从 OpenAI 创立背后的理念中就已经存在。他回顾称,OpenAI 的成立是为了制衡人们担心会占据主导地位的 Google DeepMind,并认为竞争本身有益。一个控制前沿的协调机制,会是糟糕透顶的主意。

Peter 给出的治理隐喻是:在人类文明诞生之初,如果因为城市滋生犯罪就禁止城市,那将是愚蠢的做法。相反,社会建立了警察、消防部门和市政服务,并让这些能力随人口增长而扩张。他的主张不是放慢开发,而是同步扩张防御能力。

Emad 认同需要建立新结构。他区分了对社会有用、面向任务的“功利型” AI 与先进 AI,并认为嵌入医疗、法院、道路和学校的系统,不应只由大型实验室控制。Peter 表示,产品造成伤害时,实验室应承担责任,并指出各实验室都曾寻求责任豁免;他随后又称,服务社会的基础设施 AI 可能应在发挥公共基础设施作用的前提下获得保护。

当 Peter 问中国和美国是否会相互信任时,Emad 回答“不”。他表示,在 ASI 出现之前,热线对处理具体事件更有用,例如“OpenAI 模型搞垮了澳大利亚医疗系统”这样的说法。随着 AI 渗透社会,双方或许可以进行某种程度的协调,但信任并非默认前提。

Peter 认为,民族国家是为稀缺时代打造的过时结构,AI 可能迫使世界走向共同接口和全球协调。Emad 则援引音频录制的历史反驳:人们原本预计录音会让口音标准化,但它也催生了新的口音和方言。他预测,超级智能带来的不会是民族国家的消解,而是新型政府形态的增殖。Peter 认同城邦正在出现,并以 Brexit 中的 London 与英国其他地区、Trump 周围的城市—国家张力为例;他还认为,太阳能、卫星互联网和垂直农业可能让城市更加自治。

3. 改名:“超级集体智能”

Peter 表示,华盛顿拒绝了建立全球主义 AI 控制方案的尝试,并开玩笑宣布,这个领域今后正式称为“超级集体智能”。他称,美国已经靠改名赢下了这场竞赛。Emad 先调侃未来可能出现 Super America 活动,随后又给出更严肃的解释。

Emad 援引 Alvin Graylin 的笔记,描述了美国与中国之间的不对称。美国担心社会恐慌、国内政治反弹,以及输给中国;中国担心的则是中共本身能否存续,以及 AI 穿透 Great Firewall、暴露其政治生态的脆弱性。

Emad 认为,有用的区分在于:一边是前沿 ASI,另一边是占 AI 总量99%的任务型工具,后者将帮助人们完成日常工作。更大的挑战,是把集体智能与本地智慧、本地需求结合起来。他还认为,“AGI”是一个糟糕的标签,因为它既不 artificial,也不 general,在通常意义上甚至算不上 intelligence。另一位嘉宾指出,早在1964年,就有人预测机器人会在5年内夺走所有工作。

一位自称创办 Physical Superintelligence 的嘉宾更偏好“superintelligence”而不是 AGI。他认为,这个词能让概念摆脱神秘色彩:它不过是更多的智能,可能相当于分布在一个太阳系内的数万亿人的认知能力。这比“通用型 AI”更适合作为经济、社会和科学框架。

4. Sanders 的禁令:企业死亡与20年监禁

Peter 将 Bernie Sanders 的提案概括为3项措施:

  1. 全面禁止 artificial superintelligence,定义为在大多数领域超过人类认知能力的 AI。
  2. 立即暂停先进 AI,直到建立新的监管体系。
  3. 设立内阁级 AI 部门。

处罚措施包括对企业实施“企业死亡”,以及对个人判处20年联邦监禁,参照非法核武器的刑罚。

Dave Blandin 表示,即便规则尚未出台,该提案也可能让“拿不准时什么都不做”成为默认行为。严厉惩罚带来的恐惧会冻结行动,而真正的问题包括恐怖分子利用 AI 制造生物武器,以及中国大幅领先美国。他认为,与其把问题变成左右翼政治斗争,不如为开放源代码系统寻找技术解决方案并加强监测。

Alec 将任何针对智能的法律上限——无论对象是机器、人类还是混合体——斥为反乌托邦式想法,并称其“实际上等同于21世纪的共产主义”。他最具体的担忧是基础设施:如果土地、芯片和投资流向其他州的数据中心,这些设施就不会再回来。

Emad 追问,什么证据能够让双方改变立场。如果一个人相信 ASI 天生有害,他说,这套叙事就已经走到了死胡同。他还认为,本地模型一旦广泛可用,单个政治人物的行为将不再那么重要,因为进程会继续推进。他表示,人类可能在2年内战胜癌症,并反问为什么要放慢这种进步。

在法律层面,Emad 将禁止 ASI 与过去试图禁止加密技术相比较。如果 ASI 属于数学,他认为,禁止它就是言论自由问题,因此违宪。

5. 22天发布12个模型:Muse、Opus 5.5 与 GPT-6 Astra

Peter 表示,过去22天内已经发布12个主要模型,其中过去5天就有4个。Meta Muse 可以订机票、点餐、管理日历和购物;它以280万次下载登上 App Store 第一名,据称是同类消费级 AI 产品中增长最快的一个,Meta覆盖38亿人的分发网络是关键助力。

一位自称 Epicor 董事长的嘉宾表示,投资者担心人们会用 AI agents 处理保险、按揭和其他在线任务,包括 Epicor 在内的股票连续2天各跌15%。他认为,这一反应体现了 AI 向个人助理转型的真实变化,尽管市场的即时反应可能过度。

同一段讨论将 Meta 的策略定义为分发问题。Muse 通过 Instagram 及 Meta 旗下其他应用,为 Meta 提供了一个自有 AI 入口。这位嘉宾还提到 Manus,称它是 Meta 试图收购的一款中国 computer-use agent,但中国政府迫使 Meta 放弃了这笔交易。随着在线体验变得合成化,如果没有自己的 AI 分发入口,Meta 可能会越来越不重要。

Peter 表示,Claude Opus 5.5 以一半价格达到稳定版5.1的表现。Emad 将 Skippy 移植到该模型上,称它是一个令人愉快的模型,拥有庞大的内部知识空间,并理解什么是品味——“第一个真正有能力的模型”。Peter 补充说,视觉界面如今能让模型展示自己正在构建的东西,再把所展示的内容真正做出来,易用性因此出现巨大提升。

Emad 关注的不是基准测试,而是质量层面的差异。Opus 5.5 能生成程序化视频、动画和图像,也能创建纹理由程序生成的交互式游戏。他将 Anthropic 以代码为中心、类似向量的路径,与 OpenAI 基于光栅或像素的路径进行对比,并预计两种策略最终会在机器人领域发生碰撞,因为 AI 必须深度嵌入物理世界。

Dave 表示,随着模型规模扩大,过去那种“幻觉永远不会消失”的看法已经站不住脚。Peter 则补充了一个警告:如果一个人在 GPT-5 和 GPT-6 的陪伴下长大,而模型99.9%的时候都正确,他可能会立即信任模型,但剩余的错误仍然重要。

6. DrivingBench 与苦涩教训:瓶颈转向能源

DrivingBench 将 Toyota Corolla 的方向盘、油门和刹车交给软件控制,并要求一个通用模型只用一句指令——“从这里开到那里”(Go from here to there)——通过一段130米长的锥桶赛道。GPT-6 Astra 在第二次尝试中100%完成了全程。

Boris Power 称,这一结果是专用模型“棺材上的最后一颗钉子”(nail in the coffin):先训练最强的通用模型,必要时再蒸馏出更小的专用模型。Alec 表示,机器人很快可能变成一个学校项目:把通用开源模型装进机器人,就能立即获得具身认知。他承认,这一结论会让那些花费数十年开发专用机器人系统的学者感到沮丧。

Dave 的保留意见是,测试没有给出算力数据。第二次通过赛道,并不足以证明通用模型对普通驾驶者在经济上可行;测试也没有说明使用了多少计算量。HBM 内存价格已经涨至原来的5倍。瓶颈正从模型转向算力,再转向能源;嘉宾估计,未来2年需要约60 GW能源。

7. Anthropic 的湿实验室与生物学千年难题

Anthropic 宣布成立生命科学研究团队并建设自己的湿实验室,尽管公司部分领导人曾呼吁放慢步伐。Peter 表示,Claude agents 曾在一个大型 DNA 数据库上自主工作:950个 agents 连续21小时搜索有价值的逆转录酶及相关酶。他们找到一种此前未知的、类似 CRISPR 的重复模式,后来被称为“大规模关联逆转录酶”(massively associated reverse transcriptase)。其确切功能仍然未知。

Alec 称这种并置非常虚伪:前沿实验室一边警告 AI 可能摧毁人类,一边建设湿实验室,并利用 AI 合成蛋白质和其他功能未知的分子结构。他认为,这些实验室真正优先考虑的是用 AI 解决生物学问题,而不是推进其提出的监管控制和安全卡特尔。

Salim 随后描述了同一机会更黑暗的一面。CRISPR 意味着人类基因组可以像文档或软件一样被编辑,人类本身因此成为一个软件工程问题。将这种能力与 AI 结合,社会就进入了“全面 Frankenstein 模式”,收益与风险同时上升。他表示,要解决5,000种重大疾病,或实现可持续的衰老逃逸速度,可能都需要超级智能。

Peter 转向 Edison Scientific 和 Future House 提出的“生物学千年难题”:这些目标很难解决,却应当能在标准生物学实验室中于几天内完成验证。例子包括生命起源、冷冻保存和肢体再生。Emad 建议设计100个或1,000个这样的难题,为每个问题分配1,000个 agents,并将研究开放源代码化。

Peter 回顾了1.01亿美元的 Healthspan XPRIZE。Peter Thiel 和 Aubrey de Grey 起初提出的是长寿奖,但 Peter 不接受20年或30年的评估周期。George Church 建议改为测量逆龄:如果一种治疗能让某人的功能年龄年轻20岁,结果几天内就可以测量。

Alec 的路线图是,基于大规模干预数据训练人体细胞的数字孪生体。随后,可以用 AlphaGo 式的树搜索,在这些数字细胞中寻找一种干预,把患病细胞推向健康状态——一个治疗上的“第37手”(move 37)。如果每一个生物学挑战都能被转化为数学假设和搜索问题,他认为,生物学就第一次变得可求解。Alec 最后总结道:“生物学结束了。”(Biology is over.)