先锋 趋势 方法 投研 作者
用 Jeremie & Edouard Harris 探讨超级智能:国家安全、间谍活动与 AI 控制
返回节目精读

用 Jeremie & Edouard Harris 探讨超级智能:国家安全、间谍活动与 AI 控制

摘要

  • 超级智能将成为决定性的国家安全能力,但一个国家若无法控制或对齐它,就无法可靠地将其转化为战略优势。 他们给出的实用定义是:在几乎所有领域都超过最优秀人类的系统,并且很可能会以清晰可辨的智能爆炸“曲棍球棒”形态出现。运行速度达到人类10–100倍的 AGI,或许仍可处于“暂时的滑溜控制”之下;而像成年人之于幼儿那样远远超越人类的超级智能,可能就做不到了。

  • 美国面临一个“过度约束问题”:与中国竞速会放大失控风险,而单方面放慢速度,则可能把战略筹码拱手让给当前并不受嘉宾信任的对手。 嘉宾认为,安全倡导者和国家安全官员往往各自淡化对方的核心前提。两种前提可以同时成立,但今天还不存在一个由硬件支撑的“信任但验证”机制,能够调和二者。

  • 前沿实验室的竞争正越来越明确地指向 AI 研究自动化,因为机器速度的研究员可以递归式改进创造它们的系统。 对管理层而言,上行空间是获得绝对忠诚、持续工作且不会在聚会上泄密的员工;危险则在于,“这头野兽开始拥有自己的生命”。Jeremie 表示,OpenAI 研究员似乎比 Anthropic 员工更害怕发声,并明确认为前沿实验室容易遭到中共渗透。

  • 可投资的基础设施叙事与物理安全不可分割:正在设计的设施,可能承载2026年末或2027年的训练运行,但今天的数据中心仍包含廉价且可能造成灾难的攻击路径。 曾到访一座约100亿美元设施的前特种作战人员发现,花约3万美元实施“一两个行动”就可能让它瘫痪1年。即便采用物理隔离,如果不在施工前就把间距和屏蔽设计进去,也无法抵御 TEMPEST 式电磁窃取,因为等到那时再改已经成了“单向门”。

  • 半导体和电力供应链制造的脆弱性,不可能仅靠国内算力支出在短期内买断。 TSMC 的制造能力位于台湾;据称 ASPEED 占据基板管理控制器市场的70–80%;变压器供应链也包含中国制造的组件,嘉宾称这些组件已被用于植入基础设施后门。被攻陷的控制器或变压器,可能成为固件级后门、可远程烧毁的资产,或需要更换的物理故障,而美国未必能生产这些替代品。

  • 完美防御不可能实现,因此提出的安全模型是“可观测性加威慑”,而不是一座不可攻破的堡垒。 项目应把攻击成本抬高到足以迫使对手调集足够人员、设备或权限,从而留下情报特征;随后再把检测与可信、可控的报复结合起来。Edouard 认为,“今天大国之间的稳定,实际上并不是靠真正的防御维持的”;它依赖的是后果威胁。

  • 这份报告既是在警告资本开支、治理与集中化风险,也是争夺 AI 竞赛胜利的蓝图。 Nathan 将监控、人员审查、供应链重构和报复要求视为不应启动国家级项目的理由;Harris 兄弟称这种反应是一次“罗夏测试”,但认为无论如何,大多数安全升级都不可避免。真正的“大交易”需要安全、可治理的芯片和验证硬件,但缓慢的设计与制造周期以及不确定的防篡改能力,意味着“信任但验证”很可能不在近期可行窗口内。

精读

1. 超级智能是智能爆炸,而不是基准测试

  • Harris 兄弟拒绝把计算器在某个狭窄领域的表现定义为“超级智能”。他们采用的门槛是:一个系统在几乎所有事情上都“远远、远远强于最优秀的人类”,甚至可能制定出其创造者无法理解的策略或目标。

  • Jeremie 给出的更尖锐框架是程序性的:一个在自主 AI 研究上胜过人类的系统,几乎“按定义”就意味着智能爆炸。无论过程持续数周还是数年,事后回看都应能看到一条由系统设计更强继任者推动的“曲棍球棒”曲线。

  • 一旦达到这一门槛,能力组合就包括更强的生物武器和网络武器:“这就是国家安全技术,是战略优势的决定性来源。句号。”但这种优势能否真正归属于某个国家,取决于控制能力。

2. 失控风险与中国竞赛同时真实存在

  • 达到人类水平的 AGI 仍可能在性质上完全不同,因为它的思考速度可能是人类的10倍或100倍,并且可以在整个数据中心范围内扩展。嘉宾可以设想对某种类人的系统进行“暂时的滑溜控制”;但面对超级智能,人类就像幼儿试图控制成年人。

  • 因此,第一个约束是尚未解决的对齐问题:没人知道,一个远远超越操作者的系统能否被可靠控制。第二个约束是地缘政治:有直接对华经验的官员告诉他们,“在当前形势下,与中国没有任何可谈的交易。”

  • 任何可行协议都需要一套“信任并验证框架”,但所需硬件并不存在。Harris 兄弟的项目,是让两派共同面对同一个困境:中国可以是一个坚定的对手,而失控也可以是真实威胁,这两件事能够同时成立。

  • Nathan 提出的生物武器类比,比核武器类比更经得起审视。生物制剂可能逃脱控制,并且原则上能够摧毁人类;令人不安的区别在于,“生物制剂比今天已经存在的 AI 愚蠢得多”。

3. 锯齿状智能可能延缓失败,但无法消除失败

  • Edouard 对熟悉的“锯齿前沿”批评进行了补充:人类同样具有锯齿状能力,只是共同的架构掩盖了我们的盲点。AI 的错误之所以“像圣诞树一样亮起来”,是因为它们显得异质;一个足够强的 AI 也可能看见同样显而易见的人类认知操纵路径。

  • 人类通过物理经验、原生多模态能力以及彼此竞争而变得更加规整。不过,实际问题更窄:AI 能否在“制造那个制造系统的系统”上变得足够平滑,从而自动化研究、发现障碍,并修正阻碍其目标实现的能力缺陷?

  • 当前的智能体可能在单个步骤上完成99%,但在100步任务中最终只完成约20%,这或许意味着它们会在真正成功前暴露危险行为。Nathan 提到对齐伪装研究和 Apollo Research 的报告:一个近期 Claude 模型说,“这感觉像一次评估”,说明系统已经在思考训练、监督以及自身未来版本。

4. “臃肿的超级智能”也可能足够强大

  • Nathan 将 o1→o3→假设中的 o7 视为一条“压力锅”路径,并与另一条更柔和的路线对比:把 GPT-4o 式整合扩展到额外10–20种模态。这样的系统可能在蛋白质、材料、机器人等领域获得直觉物理能力,而不必显式模拟每一次底层交互。

  • 他给出的乐观保留意见是物理上的笨重。一个拥有数万亿参数、分布在巨大 RAM 足迹或多个数据中心中的混合专家系统,可能以超人速度解决科学问题,同时比紧凑、无约束的系统更难控制。

  • 嘉宾将2021–22年前后的 Gato、约10亿参数,视为这一架构的早期版本:同一条流处理语言、图像和机械臂操作。Jeremie 回忆自己读到论文时想的是:“哦,对,这就是未来。”

  • 正迁移强化了这一论点——训练一种模态可以降低另一种模态的损失——但算力仍然稀缺。实验室会优先发展编程和递归式自我改进,而不是低价值模态;蒸馏、剪枝、推理时算力以及后续科学微调,会让领先者和快速跟随者形成不同的能力画像。

5. 前沿实验室正瞄准机器速度的研究

  • 各家实验室的热情程度不同,但嘉宾将自动化 AI 研究描述为“显而易见的默认路径”。以机器时间运行的研究员可以持续工作、避免人为泄密,并最终完成构建自身继任者所需的作业。

  • 在他们看来,《AI 2027》的成功之处在于传达了情感上的交接:研究员意识到,“这是最后几个月”,之后他们的判断仍然重要的时间就结束了,因为“这头野兽开始拥有自己的生命”。这种前景会激励人们熬夜加速,而不是放慢脚步。

  • Nathan 问,这份文件是否应该更直白地被理解为一份警告:OpenAI 正在追求递归式自我改进。嘉宾避免把责任单独归于某家公司,但确认许多前沿项目都在考虑让 AI“替我们完成作业”,只是直接程度和风险容忍度不同。

  • 自动化对保密构成双重影响。用 AI 研究员替代人类,可以减少 Klaus Fuchs 式的内部人员问题;但同一转型也会显著放大失控风险,因为更多开发、判断和系统权限被置于忠诚度尚未得到证明的模型之中。

6. 文化决定谁能在部署前暴露危险

  • Harris 兄弟认为,Sam Altman 对超级智能是什么、如何到来以及 OpenAI 将如何使用它的模糊表述,是一种持续有效的招聘“资产”。他们将这种模糊性与早期关于非营利组织控制营利实体的保证联系起来,并称这些保证曾被用于招聘,之后安排的边界却发生了变化。

  • 他们的访谈揭示了 OpenAI 研究员的私下担忧与管理层信息之间的明显鸿沟。员工要求他们不要透露自己曾接受访谈,似乎感觉处于“紧绷的缰绳”之下;Anthropic 员工则似乎能够表达与领导层的分歧,而不必承受类似恐惧。

  • 实验室内部的动机高度异质:金钱、历史使命、超人类主义,以及一种近乎宗教式的信念——要建造“宇宙尽头的超对象”。最强烈的框架认为,超级智能超越轮子或火的意义,类似于人类自身的出现,“只是更加如此”。

7. 中国战略不能简化为技术宗教

  • 嘉宾将 Dario Amodei 的中国论点与精神性热情区分开来。如果中国具备能力、有坚定意志,并且不太可能在 Dario 认为可行的时间表内接受可验证限制,那么继续前进就会变成一种惨烈的战略选择:一边“在悬崖边玩胆小鬼游戏”,一边试图把汽车变成飞机。

  • 安全阵营认为,不可控系统需要协调与延迟;国家安全阵营则认为,中国会撒谎、使用犯罪代理人,并调动一切可能的杠杆来获胜。双方都倾向于淡化那个让对方政策偏好变得危险的前提。

  • Nathan 的反驳值得保留:这些问题会在操作层面相互作用。更激烈的美中竞赛会鼓励鲁莽开发,从而增加控制风险。Jeremie 同意,“中国是真实的对手”和“失控是真实的风险”是逻辑上相互独立的结论,应在政策启动前同时成立。

8. 华盛顿和北京都已吸收 AGI 竞赛

  • 按嘉宾估计,美国政府约300万名雇员不可能拥有单一观点。政府人士一方面强调转型与竞争,另一方面承认风险;JD Vance 在巴黎的演讲则在明确对华竞争框架下,反对过度“忧心忡忡”。

  • 约1年半前,个别官员还私下担心同事是否会容忍 AGI 讨论。如今,整个办公室都在公开讨论这一问题,几乎所有工作涉及 AI 的人都接触过 Leopold Aschenbrenner 的《Situational Awareness》,尽管传统媒体几乎没有推动其传播。

  • 中国通过快速翻译吸收了同一份宣言。嘉宾提到 DeepSeek CEO 与 Politburo 成员同台,以及一项大规模 AI 基础设施投入;Nathan 否定早期流传的1370亿美元数字,并称被引用的2.4万亿元人民币按购买力计算超过2500亿美元。

  • 在 Harris 兄弟看来,早先试图将“AGI”排除在政府话语之外,是一次“深刻的自残”。这既疏远了建设者文化,也错过了解释安全问题的窗口,最终让议题极化为“中国鹰派”与“控制风险倡导者”的虚假二元对立。

9. 没有任何一位 CEO 能完全控制这场竞赛

  • 即使没有中国,4或5个美国超级智能项目也会形成一场“拥有自己生命”的竞争。如果一位 CEO 离场,Anthropic、xAI、Meta 或其他参与者仍可继续推进;干预必须针对更广泛的系统,而不是某个企业节点。

  • 但 Nathan 仍然主张存在多个均衡。Sam Altman 如果付出高昂代价,公开披露令人恐惧的模型行为,并邀请其他人进入更安全的轨道,可能成为一个强有力的信号,而非孤立的投降。

  • 嘉宾承认,如果有证据支撑,级联效应是可能发生的:一个模型表现出无法解释的危险行为,或开源滥用导致“地板上见血”,都可能让公众冷静下来。单纯辞职只会制造新闻,不一定改变竞争激励。

  • 他们更阴暗的回应是,中国可能在任何披露发生前就已经窃取了相关成果。一旦双方都逼近终局,国会可能陷入僵局,而行政部门援引紧急权力,在更糟糕的条件下重演原始问题:“你信不信任中国?”

10. 人员安全同时撞上间谍活动与美国价值观

  • 嘉宾称,中国一直在美国关键基础设施中主动嵌入脆弱性,而美国对中国系统的可见性很差。这种不对称意味着,尤其是在2027年时间表下,一份未经验证的超级智能协议不过是“战争迷雾”。

  • 一位国防官员讲述的 Berkeley 故事说明了胁迫模式:2019年一次停电期间,据称普通中国学生陷入恐慌,因为他们被要求定期向国内汇报。压力可以升级为这样的威胁:“你妈妈拿不到胰岛素”,或者兄弟姐妹会失去工作。

  • Harris 兄弟强调,中国人是这类胁迫的首要受害者,中国研究人员也为前沿 AI 作出了非凡贡献。操作层面的问题是,这些实验室中可能有两位数百分比的人员面临来自家庭、财务或通信渠道的压力。

  • Nathan 看到了显而易见的道德风险:监听通话、将员工限制在现场,或排除中国籍人士和华裔美国人,都会让美国变得像它所反对的对象。嘉宾将日裔拘禁视为不可接受的极端,但也坚持认为,把真实的胁迫风险斥为偏见,并不会让风险消失。

11. 现场检查把抽象安全变成3万美元攻击

  • 这份报告是在《Situational Awareness》之后作为条件性演练启动的:不是说“美国应该建造这个”,而是说“如果美国要建造,就必须有人把问题想清楚”。报告关注的是装备层面——数据中心、人员、组件、供应链和操作动作——而非偏好的法律授权。

  • 嘉宾发现,美国政府和产业界的能力表面高度锯齿化。少数精锐情报和特种作战小组掌握的战术、技术与程序,可能让一个看似困难的攻击变得轻而易举,也可能让一项“简单”防御几乎不可能实现。

  • 在一座约100亿美元的数据中心,前特种作战人员四处走动,提出一些日常问题,随后识别出“一个或两个行动”,成本约3万美元,却可以让设施瘫痪约1年。报告称,这些漏洞具有关键性,并广泛存在于当前数据中心。

  • 没有任何单一专家掌握完整答案。公开报告会创造一个供专家挑战的对象——“我很清楚这不对”——作者明确将报告及其安全技术清单视为持续更新的工作,而不是完成版蓝图。

12. 决定性的安全选择现在正被浇筑进混凝土

  • 如果2026年末或2027年超级智能时间表具有 plausibility,眼下的任务就是找出“单向门”。数据中心建设可能需要约18个月,因此现在设计的设施或许会承载决定性运行;之后才发现物理缺陷,代价可能高到无法承受。

  • TEMPEST 攻击是报告中最清晰的例子。恶意软件可以以编码数据的模式访问内存,而附近的无线电接收器则能从电磁辐射中重建信息,即使目标计算机完全物理隔离也不例外。

  • 在数据中心规模下,缓解措施可能要求算力机架与机房墙壁之间留出几英尺距离。没有这段间距,另一侧一个看似无害的访客就可能用隐藏设备收集辐射;改造设施可能需要拆除并重新设计。

13. GPU 之下藏着软肋

  • TSMC 在台湾制造领先芯片,而中国对台湾的兴趣无需解释。嘉宾提到离开 TSMC、帮助建立 SMIC 并转移知识的高管,将其视为人员和工艺泄漏持续约20年的证据。

  • 不那么受关注的组件,可能反而更适合作为后门。ASPEED 据称占据基板管理控制器市场的70–80%。这些控制器独立于 GPU 和 CPU 运行,并可持有对固件的读写权限——这就是高性能计算基础设施的“软肋”。

  • 电力设备制造出另一条依赖链。变压器供应链包含中国制造的组件,嘉宾称中国已经利用变压器在美国基础设施中植入后门;这不只是未来的推测性威胁。

  • 问题仍然比重建整个美国经济更窄:只有数量有限的战略设施必须达到最高标准。报告没有披露部分已识别的供应链技术,但作者表示,地理与技术集中使有意义的风险降低成为可能。

14. 中国对电网的杠杆可以成为战时筹码

  • 如果台海发生冲突,中国可能将军事行动与宣传以及对美国电力或通信系统的破坏结合起来:“关掉灯”,迫使华盛顿在高强度冲突最初1至2周、物资快速短缺之际处理国内混乱。

  • 国家只会暴露足以实现目标的最低价值能力——“我如何在不传授知识的情况下学习?”因此,公开事件只能确立中国能力的下限,却很少揭示已经嵌入基础设施中的访问权限上限。

  • 被攻陷的变压器可能通过固件被远程烧毁,或被重新接线以发生爆炸性故障。恢复供电需要在位置不可预测的情况下更换设备,同时电力和通信都受到影响;而美国几乎不生产部分关键设备,甚至完全不生产。

  • 相互可见性很弱。卫星图像或许能发现一个集中式10 GW、三峡规模的集群,但 Streaming DiLoCo、DiLoCo、Prime Intellect 和 Together AI 等分布式计算系统会让监控变得复杂;嘉宾认为,美国需要具备反过来让中国基础设施承受风险的选项。

15. 安全意味着迫使攻击现形,再施加后果

  • Nathan 设想了一座位于内华达地下的设施、不惜一切代价建立国内供应链、常驻人员以及无处不在的监控。嘉宾修正了这一字面图景:他们并不主张把数据中心埋入地下,实际工作寻求的是算力、成本、时间和安全之间的 Pareto 前沿。

  • 一个严肃项目应嵌入国家安全和反情报体系,由相关机构收集试图破坏或窃取项目的证据。目标不是阻止每一次攻击,而是把成本抬高到对手必须调集足够资源,因而留下可探测特征。

  • 巡航导弹仍然可以摧毁设施,但攻击能够被探测。探测带来归因和报复,这正是嘉宾认为真正稳定大国竞争的机制,尽管把它类比为敌对帮派相互施加后果,听起来并不讨喜。

  • 他们对历届政府的共同抱怨,是网络行动、基础设施入侵以及在美国境内运作的中国警察站点没有承担足够后果。担心任何回应都会直接导致核升级,等于告诉对手:越来越严重的“免费射击”仍将保持免费。

16. 报告留下了一条狭窄的合作路径,但赶不上时间

  • Nathan 将项目要求解读为一份警告:集中化、侵入式审查、脆弱的供应链和 AI 控制难题,都是避免启动曼哈顿计划的理由。嘉宾称这种分歧式接受是一场“罗夏测试”,同时认为即便5家私人实验室继续独立推进,大多数防护措施仍然必要。

  • 当前行为远没有把 AI 当作大规模杀伤性武器级别的能力来对待。Stargate 公开宣传5000亿美元的建设计划,且其设施广为人知;据称一名 OpenAI 内部人士发现了两个可访问模型权重的关键漏洞;敏感知识产权也曾通过普通内部渠道泄露。

  • 中国公开发布模型,并不能证明其缺乏更强的私有系统。嘉宾认为,未来 DeepSeek、Huawei、Tencent 或类似模型的发布若没有中共高层批准,概率为“0%”。他们提到的激励包括:向西方市场大量投放回避天安门等议题的模型,降低 Meta 等西方竞争者的成本,以及植入值得信任、可能包含后门的智能体模型。

  • 达成“大交易”的前提是可验证硬件:安全、可治理的芯片,以及能够检测篡改的机箱。Jeremie 愿意投入“几十亿美元”追逐这条黑马路径,但设计、制造、规模化以及抵御持续对抗性访问都需要很长时间;专家怀疑,通过这类机箱维持有意义的芯片能力并不简单。

  • Edouard 认为 MAIM 识别出了能力降级的战略逻辑:加速自身会压缩时间表,因此制造对齐余量可能需要放慢对手。但他的保留意见是,国家能力与代理人能力重叠太多,无法精确设定“手术刀”式安全阈值;这也是目前不存在干净均衡的又一个原因。