先锋 趋势 方法 投研 作者
AI会杀死所有人,还是末日论心理战?OpenAI的数学突破与Nike的2000亿美元崩盘
返回节目精读

AI会杀死所有人,还是末日论心理战?OpenAI的数学突破与Nike的2000亿美元崩盘

摘要

  • Sacks认为,病毒式传播的Anthropic“吹哨人”辞职事件是一场精心策划的末日论行动,而非自发的良知觉醒。 Jacob Coxon几乎空白的账号突然获得约1.1亿次浏览;3个末日论政策团体在10–15分钟内放大了这条内容,而《华尔街日报》的禁 embargo报道早于推文风暴出现。“拿出数据来……他手里只有感觉。”
  • 投资者真正关心的是,这起事件将如何影响Anthropic的IPO,而Polymarket给出的IPO概率为88%。 Chamath认为,alignment负责人Evan Hubinger公开为这些说法背书——包括他声称未来10年内人类灭绝风险“超过10%”——其影响大于Coxon的辞职。Anthropic要么否认这些说法、承担内部反弹风险;要么接受由此带来的产品责任和信息披露后果,投资者则会要求大幅折价。
  • Sacks称,现在到了“做出选择的时刻”。 Anthropic隐含的推销逻辑是:前沿AI掌握在其他人手里很危险,但掌握在自己手里就安全;在Sacks看来,这是一种服务自身利益的监管俘获。如果Anthropic同意Bernie Sanders的观点、冻结AI开发,他问公司如何以万亿美元级估值IPO;如果否认末日论说法,内部安全派又可能反叛。
  • 节目嘉宾抨击末日论者的历史战绩,并认为其最终目标是开源。 Sacks列举GPT-2、推理模型、灾难性网络攻击和大规模失业,称其战绩为0胜4负。他认为,“AI版FDA”可能要求集中式监控和回滚,而开源模型无法满足这些要求,最终会变相禁止公开模型权重,形成政府支持的双寡头格局。
  • 针对预防原则,Chamath而不是Friedberg提出了核心反驳:递归自我改进只需要电力、芯片和互联网连接,因此美国禁令只会让美国掉队,开发仍会在其他地方继续。 Friedberg另行将末日论描述为周期性社会恐慌,Jason则认为,生存威胁叙事历来被用来集中权力。
  • OpenAI的Navier–Stokes成果被描述为蛮力式杠杆,而非超自然智能;与此同时,讨论也提出了严重的数据泄漏疑虑。 Friedberg估算,1万名agent共产生1300亿个输出token,相当于约5万–50万个人类工作年。Chamath称零数据留存“像瑞士奶酪一样千疮百孔”,建议采用受控VPC或裸金属部署等主权基础设施;他预计,一些CIO会因草率签下API协议而被解雇。
  • Jensen Huang称Coxon的说法“离谱且完全不真实”,这促使Sacks追问Anthropic为何没有做出同样的表态。 Sacks将Anthropic的回应形容为含糊其辞,并把公司不愿否认这些说法解读为内部与战略矛盾的证据;这仍是他的解读,并非已确立的事实。
  • Nike在标普100指数成分股中待了18年后被剔除,原因被归结为渠道破坏、产品恶化和存在争议的营销选择。 Jason认为Kaepernick营销活动是转折点;Sacks批评更广泛的“觉醒”式重新定位;Friedberg则称问题在于鞋子本身变差。Chamath提出的复苏方案,是回归“精进与卓越”——他认为这正是让Nike变得强大的愿景北极星。

精读

1. 引爆全网的辞职事件——以及对不上账的数字

  • 导火索是Jacob Coxon:他曾在OpenAI和Anthropic两家公司合计工作3年,但在Anthropic仅6周便辞职,随后发文称,“认真开发AI的人真心相信,AI可能在这10年结束前杀死我们所有人。这不是营销噱头”,并指责两家实验室“径直冲向能自我改进的超级智能,拿我们的生命下注”。Jason说,自Elon关于“把可卡因倒进可口可乐”的玩笑以来,他没见过一条推文获得约1.5亿次浏览。
  • 真正点燃法律与传播引线的是Anthropic alignment科学负责人Evan Hubinger的回复:“Jacob说得对。我们确实认真相信AI可能杀死全人类!我个人认为未来10年内的概率超过10%。我们还没有解决alignment的方案。”两条帖子合计获得约2亿次浏览,Bernie Sanders据此呼吁立法禁止超级智能;JB Pritzker则要求“把警报拉得更响”。
  • Chamath追问:一个几乎没有粉丝、此前也没有活跃记录的人,怎么可能周一出现、周二就拿到1.1亿次浏览?Coxon曾联系Jason,希望上节目,随后在当天早上取消;Jason认为,这可能是为了躲避Sacks的交叉质询。

2. Sacks为协调行动搭建的证据链

  • Sacks的证据链是:一个空白或经过清理的账号,在10–15分钟内被3个有组织的末日论团体放大——包括Encode AI总法律顾问Nathan Calvin、AI Policy Network的政策负责人(节目中认为可能是Peter Wildeford),以及AI Futures Project的Daniel Kokotajlo;后者在同一时间发布了一期使用相似措辞的Rogan节目。Sacks称,这3个团体都由EA大额捐助者、Anthropic A轮联合领投人Jaan Tallinn资助。随后他又提到Dustin Moskovitz和Sam Bankman-Fried与该轮融资的关系。
  • 看似最关键的线索,是《华尔街日报》的报道在推文风暴前几分钟出现。Jason解释,这很可能意味着《华尔街日报》是在禁 embargo条件下提前获得简报,却在错误的时间发布了报道。Sacks称,这篇报道是被“提前搭好台子”的,不是自发出现。
  • Sacks质疑“吹哨人”这一标签:“他拿出了什么我们此前没有的证据?这一切都只是感觉……拿出数据,拿出报告,拿出泄露的信息。”他还指出,与典型吹哨人事件不同,公司内部人士没有驳斥这些说法,反而在放大它们。
  • 他更广泛的判断是,重叠的经济、政治和意识形态利益可能围绕同一个故事汇合。他没有声称Bernie Sanders本人参与了策划,只是认为Sanders可能通过既有关系迅速拿到了这套叙事,因为它符合他的政治议程。

3. 终局:一个以消灭开源为目的的AI版FDA

  • Sacks称,这些团体希望建立一个联邦AI部门或AI监管机构,强制推行他们偏好的框架。他认为,禁止开源不会以“禁令”的名义出现:监管者会对开源和闭源模型施加同一套标准,再要求集中式监控、控制和回滚;而一旦开放模型权重,这些要求在技术上就不可能实现。
  • 他描绘的联盟包括偏好集中式方案的EA和理性主义意识形态团体、能够从公众恐惧中获取权力的Sanders等政客,以及Sacks所称、正在Anthropic的监管顺风车上前进的OpenAI。由政府制造的护城河可能形成双寡头:实验室获得经济利益,监管机构获得权力。
  • Sacks构想了一个把信任与安全制度套用到个人AI上的疫情反事实场景。有人向AI询问疫苗风险时,收到的可能是政府官方答案,而非独立评估,最终形成一个更加集中化、更加反乌托邦的信息系统。
  • Friedberg补充说,开源没有单一的企业实体来提交监管材料,也没有单一主体参与拟议中的审查流程。但他认为,开源可以把AI成本降低50倍,让更多人分享收益。Sacks的警告是,掌控监管“油门”的人可以宣布开源没有合规,然后将其禁止。

4. Friedberg的宏观框架:歇斯底里;Chamath与Jason谈控制权

  • Friedberg将当前的AI恐慌与Al Gore的《难以忽视的真相》及他认为已经被证伪的IPCC预测、Fauci关于新冠的警告及其引发的封控和支出,以及三里岛时期对核能开发的反对相比较。他还对比了美国核电每GW约150亿美元的估算成本、法国约40亿美元和中国约10亿美元的成本。
  • 他说,社会恐慌会自我强化:由于人们害怕自己不理解的东西,数据中心的民调支持率达到负80。按照他的框架,人类是面对陌生前沿的灵长类动物,会本能地把它当作生存威胁。
  • Chamath的独立论点是,递归自我改进只需要足够的电力、芯片和互联网连接。美国禁令不需要得到每个政府的批准;其他地方的人可以继续推进,让美国变成“亚马逊丛林里那个从未见过文明的部落”。
  • Chamath还认为,监管行动的核心动机是控制:把决定AI发展方式的权力交给某个机构、参议员或监管者。
  • Jason将这一点扩展为一套权力结构理论。他认为,许多权威体系都曾利用生存威胁叙事来集中控制权——“你们都会死;把权力给我,我来保护你们”。

5. Anthropic的不可能处境:拿着S-1上市的Philip Morris

  • Chamath从IPO案例出发,搭建了证券法框架。他回忆,Google在静默期接受《花花公子》采访,以及他本人在CNBC上评论Slack可能几乎颠覆Slack的IPO,迫使公司把这番评论写入S-1并作出回应。
  • 他的类比对象是Philip Morris:Anthropic似乎在说自己的产品可能极其危险,却仍希望公司上市,同时没有完全解决这种危险该如何披露。“没有哪家公司会一边筹资,一边谈自己如何试图毁灭人类,”他说,并认为这种情况没有明确的法律先例。
  • Sacks概括了其中的矛盾:投资者被要求以万亿美元级估值为一家公司提供资金,而公司自己的安全负责人却说,核心产品尚未解决、并且可能终结文明。“至少,这是有史以来最大的产品责任诉讼,”他说。
  • Chamath表示,普通的风险因素——例如NVIDIA可能不再供应芯片,或竞争者可能出现——并不等同于公司员工公开赋予其产品超过10%的人类灭绝概率。
  • Sacks和Jason都认为,S-1可能需要回应这些推文。Sacks说,Hubinger的背书比Coxon的辞职更重要,因为Hubinger仍是高级alignment高管,他不仅共同签署了这些说法,还对其进行了放大。

6. Anthropic为什么无法否认他

  • Sacks所谓的“做出选择的时刻”是:Anthropic必须把Coxon定性为一名夸大其词、沉迷科幻的初级员工,或者同意他所说的实质内容。如果公司同意前沿AI会终结文明,Sacks就追问,它如何以万亿美元级估值IPO,又如何拒绝Sanders冻结开发的要求。
  • Sacks还抨击Anthropic隐含的解决方案:前沿AI掌握在其他人手里太危险,但掌握在Anthropic“有道德且有智慧”的手里就安全。他称这套说法服务于公司自身利益,认为Anthropic正试图通过监管俘获建立垄断或双寡头。
  • Chamath认为,Anthropic不能简单否认这些说法,因为一边是理性的人在建设一家真实的公司,另一边是公司内部有足够大的一批人真心相信生存风险论。否认可能触发内部反叛。
  • Jason列出3种可能:员工相信这些说法,而且说对了;员工相信这些说法,但说错了,可能存在“某种程度的精神病”;或者这套叙事是协调行动的一部分,目的是监管AI、禁止开源并“把梯子收走”。他追问,Coxon究竟是在参与其中,还是只是一个有用的蠢人。
  • Sacks拒绝把整起事件视为一个单一阴谋。他的看法是,先发生了一场有组织的放大行动,随后不同参与者各自追逐重叠的经济、政治和意识形态议程。

7. 末日论者的历史战绩:0胜4负

  • Sacks回顾了此前的几项说法:GPT-2危险到不能发布;推理模型危险到不能发布,包括与Ilya Sutskever所见模型相关的那一款;AI网络攻击会摧毁银行体系;Dario曾预测约一半初级白领或知识工作者岗位会消失,同时失业率达到10%–15%。
  • Sacks称,这些说法目前的战绩是0胜4负。他承认网络风险仍然真实存在,但认为最好的防御是AI驱动的网络防御;他还表示,失业预测并未实现,经济反而出现了就业增长。
  • 节目中的贯穿式笑话是,基础应用仍然会失败:Python自动补全并不完美,通过AI预订酒店仍不可靠。把这些失败与人类灭绝直接连接起来,被认为是反对跳过中间步骤的理由。

8. “我们到底会怎么死?”——如何钢人化灭绝论,又为何站不住脚

  • 在Friedberg设计的游戏中,嘉宾尝试构造一个10%的人类灭绝场景。Jason提出一条《终结者2》式路径:Claude被接入军事系统和自主武器。Friedberg则设想联网的生物反应器与机器人利用前体材料,制造并传播高致病性的空气传播病原体。他承认,这需要经过许多中间步骤。
  • Friedberg还考虑了金融网络被关闭的情形,但指出金融机构拥有硬备份、物理隔离系统、冗余机制和人在回路中的操作流程。
  • Sacks说,网络和生物场景涉及真实的滥用风险,但同一项技术也可能带来网络防御、解毒剂、预防手段或治疗方案。他还提到法律惩罚,以及许多有能力的人即便拥有作案工具也不会犯罪这一事实。
  • Sacks认为,末日论最有力的论据不是普通网络攻击,而是递归自我改进:AI具备完全自动化AI研究的能力,创建自己的训练运行,产出更强的模型,再重复这一过程,且全程不需要人类介入。
  • 嘉宾的反驳是,当前系统距离把人类从AI开发中移除还很远,甚至距离可靠完成普通应用也很远。Jason说,可以把人工审批节点写进软件,例如要求某个人按下按钮后,训练运行才能继续。
  • Friedberg的结构性论点是,人类按照人的时间尺度行动。即便AI能瞬间分析一个决策,人仍需要起床、开会、批准行动,并完成把洗漱包拿到楼上这类物理任务。Sacks援引Bill Gurley的观点称,关键问题是找出到达极端结果之前的每一个中间步骤,以及每一步可以采取的干预措施。

9. Jensen在节目中途打破沉默

  • 录制过程中,Sacks称Jensen Huang在高盛会议上表示,Coxon的评论“离谱且完全不真实”,并称这些说法错误、自大,且无视整个行业正在进行的安全工作。
  • Sacks追问,为什么Jensen可以这样说,而Anthropic不行。他将Anthropic的公开声明形容为“含糊其辞”,即模糊且不置可否,并认为Anthropic不愿否认Coxon,与其内部信念和监管策略相一致。这是Sacks的解读。
  • Jason将此与约3周前的一次交流作对比,当时Dario谈到了Gavin在节目中提出的说法。Jason还读出Anthropic品牌与传播负责人Shasha在8月14日的一条回复:“Dario从未说过这些。完全是一派胡言。”Jason推测,Anthropic的静默期状态可能已经改变,但文字记录没有说明公司这次为何保持沉默。

10. Navier–Stokes:穿着实验室白大褂的蛮力

  • OpenAI声称在Navier–Stokes方程相关问题上取得了成果。这组方程写于19世纪,主要用于流体动力学建模。Jason称,这是全球最难的7个数学问题之一。
  • Friedberg的拆解是,1万名agent共产生1300亿个输出token,代表的是规模巨大的分布式蛮力,而非超自然般的洞见。他估算,这相当于约5万–50万个人类工作年,同时指出,即便按数量级缩减,仍相当于数万年的人类知识劳动。
  • 他的结论是,AI是一台杠杆引擎。agent的消息和工作都有记录,人类可以理解;这个系统能够把飞机机翼、发动机或能源系统的多年设计工作压缩到几分钟或几秒。
  • 争议在于,研究人员使用OpenAI产品是否帮助模型取得了进展。OpenAI表示:“虽然可能性不高,但我们无法排除从他们使用我们产品的过程中得到的去标识化数据帮助改进我们模型的可能。”Sacks相信Noam Brown关于没人查看研究人员prompt的否认,并认为更合理的情况是,OpenAI得知研究人员正在取得进展,然后为该问题投入了大量算力。Jason说,Sam Altman确认OpenAI知道Anthropic正在接近突破。
  • Sacks仍然同情研究人员的担忧,因为OpenAI既是模型提供商,又是在相同应用领域开发突破的竞争者。

11. ZDR像瑞士奶酪:一场主权交易

  • Chamath称,零数据留存是商业上的最大努力承诺,不是保证。即便客户要求模型不留存一套蛋白质设计流程,其他互动——例如点击Like按钮——也可能不在同一承诺覆盖范围内。
  • 他说,上市公司审计和风险委员会正在逐渐意识到这一问题,EY、Deloitte等公司也在推动这一认知。他预测,一旦高管发现标准API协议允许敏感信息进入模型生态,一些CIO会因此被解雇。
  • Chamath的建议未必是开源或本地硬件,而是部署受控的主权基础设施:采用客户拥有的环境或VPC,可以使用AWS、Nebius或Fireworks,并按照客户条件配置模型。他说,敏感行业企业不应在不了解泄漏风险的情况下,依赖标准价目表API。
  • Friedberg说,他曾向前沿模型提出新颖的科学问题,模型判断这些问题包含新的洞见;后来,他又看到另一个账户或模型版本描述相同想法。他把这视为此前对话可能影响训练的轶事证据,同时承认无法证明其中的机制。
  • 他的关键区分是,去标识化移除的是个人或公司身份,不一定移除底层方法。“方法本身就是知识产权。”他已经订购了2台Mac Studio M5,用于运行本地开源模型,并把约90%的敏感工作从Claude迁出。Chamath提醒,本地硬件本身无法解决协作、记忆或共享知识库的需求。
  • Sacks将问题扩大到法律隐私层面。他说,目前AI聊天数据获得的保护弱于电子邮件:在电子邮件需要基于可能原因的搜查令时,AI聊天可能只需要传票或法院命令。由于人们把AI当作律师、医生或治疗师使用,他认为AI对话至少应获得与电子邮件同等级别的保护。
  • Sacks还指出,闭源模型提供商正在进入建立在其平台之上的垂直应用领域。他以Claude Code及其与Cursor由此产生的冲突为例,说明客户不能假定模型提供商不会与自己竞争。“或许我们首先该通过的法律,就是这一条,然后再谈监管。”

12. Nike:如何靠“觉醒”把自己踢出标普100

  • 在连续18年入选后,Nike被移出标普100,接替者是Palo Alto Networks。Jason列出几项数据:2021年峰值市值2640亿美元,2024年峰值营收510亿美元,股价较峰值下跌80%,中国销售额下降30%,并在那里连续8个季度下滑。中国品牌Anta和Li-Ning,以及HOKA、On和Brooks都在扩大份额。
  • Jason认为,CEO John Donahoe激进的直营策略是损伤来源之一:这套策略疏远了零售合作伙伴,也把货架空间让给了竞争者。他还批评公司从篮球、足球和网球等按运动划分的部门,改组为男士、女士和儿童品类。
  • Sacks称这又是一个“觉醒就破产”的案例,并批评Nike背离了那些代表性能和卓越的运动员。他认为Kaepernick和Dylan Mulvaney营销活动与品牌不一致。不过,认为Kaepernick活动是转折点的不是Sacks,而是Jason。
  • Friedberg称,Nike的衰退不只是广告问题。他说,Nike的鞋开始在6周内散架,促使他改穿Brooks。由Berkshire Hathaway持有的Brooks已实现连续9年营收两位数增长,营收达到16亿美元。Friedberg将其方法归因于Buffett要求公司每年把产品做得更好。
  • 他的诊断是,Nike从产品转向了叙事,而Brooks一直在改进产品。

13. 复苏论点:把精进与卓越重新设为北极星

  • Chamath称,Nike的北极星是“通过体育体现精进与卓越”。他列举Michael Jordan、Tiger Woods、Serena Williams、Pete Sampras和Roger Federer,认为正是这些人的表现让产品变得令人向往。
  • Chamath说,他从Nike转向On,部分原因是Federer代表了卓越与精进。他认为,跟随卓越的人、通过他们激励自己变得更好,是健康的,不应被羞辱。
  • 他的复苏方案是找回这颗北极星、回到零售门店,并广泛销售产品。如果Nike再次代表精进与卓越,他相信数千万客户可能回归。他称这个品牌是一根“压紧的弹簧”,蕴含巨大潜力。
  • Jason建议Nike还应重新考虑Strava这类以性能为导向的设备和社群;节目最后以他开玩笑提出的“做,或者不做”式改名收尾。Sacks称,这是唯一可能让Nike处境变得更糟的想法。