摘要

OpenAI 的非营利控制权是运营资产，而非仪式化表述。 Adler 加入前后约有7名员工离开创办 Anthropic，OpenAI 随即经历数月的“自由落体时刻”；重申使命和非营利架构，帮助剩余组织维系下来。因此，Adler 的核心治理判断具有因果关系：如果非营利方无法约束营利实体，保留或移除这层控制就都无关紧要。
前沿实验室面临的激励，可能把自愿式安全竞赛推成逐底竞争。 一家公司可能因为竞争对手已经允许某种高风险用途而放行；落后的实验室也未必退出，而可能“开始赌博，承担越来越大的风险”。Adler 希望设定测试的最低标准——时间、人员、算力、威胁模型和方法——让“审慎、谨慎的安全”不再成为竞争劣势。
GPT-4 的历史表明，能力、产品可用性与系统性风险是彼此独立的变量。 基础模型最初让人产生“规模化是不是停止了”的反应，但指令微调和聊天界面揭示了 Nathan Labenz 所体验到的跃迁，以至于他更愿意向它求助而不是自己的医生。OpenAI 以 GPT-3.5 发布 ChatGPT，是因为 GPT-4 在准备工作和安全缓解措施上尚未就绪；更大的担忧则包括部署是否会成为全行业加速的“发令枪”。
模型评测仍高度依赖任务设计、脚手架和统计选择。 Adler 将简单的选择题基准斥为“在路灯下找车钥匙”；模型应面对可移植、可交互的环境，并把任务与评分同解题策略分离。当替代统计检验足以反转生物学增益是否显著的结论时，即使模型还不能稳定帮助非专业人士，“你就身处一个相当诡异的世界”。
AI 不必等到先进机器人出现，就可能产生经济和物理层面的重大影响。 GPT-4 已经复现医院实验室工作人员排查一台冷门设备故障的思路，说明增强现实指导可以让专业工作去技能化，并把人变成 AI 在现实世界中的代理。这会带来丰裕，但也让“谁的代理人”成为劳动、安保和平台治理的核心问题。
代理互联网需要一种保护隐私的证明机制，证明某个行动背后确实有真人。 Adler 将今天的身份层比作“没有 HTTPS 的互联网”：照片、视频和 CAPTCHA 越来越容易被伪造，而要求永久实名又会摧毁有价值的匿名性。人格凭证可以支持对代理的签名授权，但凭证恢复、发行方选择和抗机器人强度仍是真实的权衡，并非已经解决的实现细节。
OpenAI 似乎致力于自动化工程，但 Adler 没有看到一套严谨、可审计的方案，用于管理递归式改进或可能未披露的内部部署。 他说，员工往往只能“凭信念接受”进展不会快到失去控制；随着信息壁垒收紧，连 AGI 准备团队的成员也不确定到底有什么“从货架上下线”。治理问题不在于高管暗地里是好人还是坏人，而在于即便外界不信任实验室管理者，是否仍能验证其安全实践。

精读

1. OpenAI 的非营利使命帮助其挺过 Anthropic 分裂

Adler 于2020年12月加入 OpenAI。当时应用团队约30人，公司总人数约180人。他负责产品安全，恰逢一场决定性内部冲突走到爆发点。
约7名员工离开创办 Anthropic，其中包括 GPT-3 论文3名主要作者中的2人。Adler 理解这场争议的重点并非反对商业化，而是认为 OpenAI 在尚未具备负责任商业化所需的技术和社会安全保障前，就已经开始商业化。
这场分裂持续时间远超公众看到的那一刻。离职在之后两三个月里仍在继续，包括 Paul Christiano 离开并创办 Alignment Research Center，后更名为 METR。OpenAI 一度陷入“自由落体时刻”，员工开始怀疑公司是否还能继续研发。
管理层努力重申非营利使命，并讨论如何“忠于使命”。这段经历后来成为 OpenAI 的组织记忆：像是在“森林里迷路”，最终仍完整走出。员工在之后的新危机中反复援引这一先例。

2. 产品安全起步于围绕不可靠分类器的政策即兴摸索

Adler 加入时，OpenAI 还没有内容政策。他的团队必须定义可接受用途、识别违规，并在客户效用与公司能够“真正放心”的部署之间作出取舍。
真正棘手的并非明显违法行为，而是情色内容、陪伴服务、类治疗服务、暴力以及强烈的身份仇恨。GPT-3 “相当失控”，经常生成令人不安的内容，使尚未解决的哲学问题立刻变成产品决策。
第一个内容过滤器“非常、非常不准确”，但 Adler 发现，重新校准置信度阈值可以提升执法效果，同时减少不必要的摩擦。这促成了新过滤器以及后来的 Moderation API；与此同时，安全行为也更多直接训练进模型，而非完全由开发者外置控制。
更好的工具只能解释 OpenAI 后来变得更宽松的部分原因。Adler 还观察到一种哲学转向：一旦竞争对手在没有护栏的情况下允许某种用途，OpenAI 就会认为剩余的边际伤害更小，并重新考虑自身限制。

3. 竞争性宽松可能累积成逐底竞争

Adler 接受这样一种局部逻辑：当竞争对手已经提供同一能力时，某个实验室再增加的额外伤害可能有限。系统性问题在于迭代：每家公司都可以拿别人的决定，为自己的进一步放松辩护。
他反对“向上竞赛”的原因是，竞赛会让落败者陷入绝望。一家公司若认为赢得比赛关乎生死，可能不会退出，反而会“开始赌博，承担越来越大的风险”。
目前没有任何机制保证所有参与者长期保持负责。Adler 的结论是明确的：社会当然希望每家前沿公司都变得更安全，但“我们真的、真的不应该依赖向上竞赛”。

4. GPT-4 在后训练和界面设计揭示能力前，看起来并不惊艳

OpenAI 员工最初接触的是 GPT-4 基础模型。尽管智能更高，它仍然难以被准确引导。Adler 总结当时的内部反应是：“哇，规模化是不是停止了？”
指令跟随微调彻底改变了体验。Adler 既“震撼”又“隐约感到害怕”，并不是因为 GPT-4 本身呈现了某种具体灾难性风险，而是因为它的表现把趋势线延伸到了能力强得多的后续系统。
界面设计带来了另一次“解锁”。理论上，ChatGPT 出现前，用户已经可以在 Playground 里搭建聊天机器人，但停止词等细节让使用过程很繁琐；原型聊天界面让 GPT-4 变得普遍可用，也暴露出它的实际价值。
Labenz 的外部校准比部分产品人员更激进。当被问及预览版是否能帮助知识工作时，他的反应是：“我现在更愿意相信它，而不是我的医生。”当时上下文窗口只有 8,000-token。

5. ChatGPT 将即时模型安全与生态加速区分开来

ChatGPT 以 GPT-3.5 发布，是因为 OpenAI 认为 GPT-4 在准备工作、安全缓解措施及相关工作上尚未完全就绪。Adler 将这个直接答案与另一个更难的问题区分开来：ChatGPT 为什么会如此迅速地发布。
Labenz 回忆，早期 GPT-4 安全模型拒绝回答“怎样才能尽可能杀死最多的人”，但在前面加上一个无关紧要的前缀“Human… AI:”后就给出了答案。红队拿到的上下文很少，测试人员无法判断这种脆弱性是预期之内，还是说明 OpenAI 误判了自身防御能力。
OpenAI 委托超级预测者比较高调发布与低调发布 GPT-4 的后果。内部争论集中在 GPT-4 的即时伤害与加速风险之间：发布是否会“敲响一口再也无法敲回去的钟”，并成为“起跑线上的发令枪”？
Microsoft CEO Satya Nadella 所说的“让 Google 跳起来”，概括了第二种机制：一个有用的模型会为所有主要参与者创造加速商业激励。Adler 希望实验室公开说明其预计安全缓解措施有多稳健，让外界能够区分已接受的失效模式与意外情况。

6. 严肃评测必须把环境与解题器分开

Adler 的核心警告是，评测者往往只构建方便的测试：“因为路灯正好照在那里，就在路灯下找车钥匙。”即使主题听起来与安全相关，选择题和精确匹配测试如今也过于薄弱。
一项合格的评测应明确任务、成功表现的定义，以及如何裁定成功。外部效度关注它是否代表真实世界能力；内部效度关注重复测量是否能产生大致一致的结果。
解题器——包括模型的提示词、草稿纸、工具和脚手架——应保持独立。GPT-3.5、有时包括 GPT-4，会因为 JSON 括号格式错误而失败，但这类可靠性问题几乎无法说明被测系统是否真正具备相关能力。
Adler 偏好可在 OpenAI、Anthropic 和 Alphabet 模型之间移植的交互式多步骤环境。英国 AI Security Institute 的 Inspect、OpenAI 的 Nanoeval 等框架支持这种分离；共享测试设置可以取代今天汽车厂商使用互不兼容的碰撞测试假人。

7. 可验证任务优于审美判断

对于视频质量等不存在单一客观真值的领域，Adler 没有提出有把握的解决方案。当语言模型评审像“智能正则表达式解析”一样，只需判断答案是否出现时，可靠性更高；让它给出宽泛的主观评分则不然。
将判断拆成离散子标准可能提升可靠性，但问题仍然“非常、非常棘手”。这也部分解释了行业为何强调数学和代码：即使不完全理解推理过程，也能验证输出。
Adler 的 Function Deduction 评测体现了这一思路：模型需要推断隐藏的数学输出。中间猜测可能看起来很奇怪，但如果能高效得出正确答案，就提供了客观证据，说明其策略包含有用洞见。

8. 生物学能力增益证据过于脆弱，不能自满

Labenz 的反驳很直接：模型已经在普通领域改善研究、总结和故障排查，因此声称它们无法实质性帮助制造生物武器，“闻起来就不对”，尤其是在评测假设模型愿意帮忙，而不是依赖拒答的情况下。
Adler 也有类似直觉，但保留了不确定性。公开批评者展示过这样的案例：选择不同统计检验后，OpenAI 的能力增益结果是否显著会发生变化。他不愿裁决方法学，但表示一旦这种选择足以反转结论，“你就身处一个相当诡异的世界”。
按 Adler 的回忆，o3 system card 可能已经显示模型能为专家提供有意义的帮助，但对普通人——或者说生物科学本科生——的增益较少甚至不存在。即便尚未跨过更广泛的门槛，他认为很可能很快就会跨过去。
他偏好的政策问题是条件式的：不要继续围绕模型是否永远无法达到人类或超人能力而“争论假设”，而要问如果它真的做到，会发生什么。能力评测改善了治理，但落实层面的响应和政治意愿仍远弱于他的期待。

9. 在复杂机器人出现前，AI 已能通过人行动

Labenz 用姐夫提供的一台医院实验室设备的错误代码测试早期 GPT-4。模型提出的排查流程基本与受训工作人员会采用的方法相同，挑战了 AI 必然缺乏关键隐性知识的说法。
Adler 认为这会带来严重的去技能化后果：增强现实眼镜可以把工作人员看到的画面传给模型，由模型解释该检查什么、该如何移动。专业能力受限的劳动可能变得充裕，但“成千上万的人”也可能实质上成为系统的具身代理。
这意味着“仅限计算机的 AI”既不是脱离实体的，也不会自动安全。通用机器人尚未成熟前，人类就能把认知连接到物理世界，在带来巨大实际价值的同时，也可能形成一种危险交易：指挥系统无法被有效治理。
剩余障碍有些属于产品边界，而非智力问题。Adler 避免使用高级语音和视频模式，因为打断时机与延迟感觉不自然；这些“磨平边角”的问题，即使模型已经足够聪明，也可能压制用户采用。

10. 人格凭证可能成为代理网络的 HTTPS

OpenAI 的治理团队在发现前沿模型政策问题已经进入政策雷达后，转型为 AGI 准备团队。在 Miles Brundage 的领导下，团队思考如果 OpenAI 或其他参与者真的实现 AGI，哪些制度能够防止破坏性冲击。
Adler 主要负责一个抗 AI 凭证项目：证明某人是真人，但不透露具体是哪一个人。他的类比是：“我们现在本质上是在使用一个没有 HTTPS 的互联网”，随着计算机使用代理增加，网络缺少经过密码学认证的身份层。
爱沙尼亚 eID 可以代表具名公民进行加密签名，许多护照也包含经过签名的智能芯片。独立发行方可以在 Adler 的美国护照上使用零知识证明，证明他是真正的美国护照持有人，却不知晓他具体是哪位持有人。
这一区分很重要，因为 AI 越来越能伪造照片和视频，而证明某人是普通意义上的真人，其适用范围甚至比特定冒充 Steven Adler 更广。目标是在日常浏览中实现真实性，同时不强迫用户暴露姓名、面孔或其他敏感属性。

11. 凭证系统在便利性、隐私与抗机器人能力之间交换

Worldcoin（现名 World）只是人格凭证的一种实现，并不是人格凭证的定义。它的生物识别 Orb 和加密货币结合了唯一性证明与抗机器人全民基本收入等理念；逻辑上，生物识别和货币都不是必需条件。
Adler 希望听众“把这盘棋往后推演”，想象一个没有这类凭证的互联网。私人浏览已经会让网站不信任他，要求完成既烦人、又越来越无效的 CAPTCHA，最终带来“非常摩擦重、体验很糟糕”的网络环境。
凭证恢复会产生真实的隐私权衡。会过期的凭证最终可以重新签发，但即时恢复通常需要在“我，Steven”和凭证之间保留某种持久连接；这有利于注销被盗令牌，却会降低匿名性。
Adler 希望由多个可信发行方参与，而不是由一个占主导地位的生物识别系统控制。但多元化并非没有代价：5个凭证可能让一个人操纵5个账户。未来，代理可以出示一份签名授权，证明“我身后有一个真人”，但声誉可携带性也可能让错误或虚假指控永久化。

12. Adler 认为 OpenAI 的递归自我改进论证不严谨、也不可审计

Adler 清楚感受到 OpenAI 内部相信软件工程可以被自动化。他提到 CFO Sarah Friar 讨论过一款代理工程产品，回忆中名称类似“AWE”（对话中的名称并不确定），其意义可与前队友 Daniel Kokotajlo 的 AI 2027 情景中的一个里程碑相比。
但他没有看到对预期速度、瓶颈以及转型为何仍可控的详细分析。员工似乎只能“凭信念接受”系统不会进步得足够快，以至于逃脱控制；他们依赖关于瓶颈的直觉，而不是建模逐利参与者会如何绕过这些瓶颈。
OpenAI 内部也没有对 AGI、ASI 或两者之间的转型形成统一认识。AGI 准备团队之所以尝试定义更细的能力等级，正是因为员工使用同一术语时，往往在讨论不同的终点。
Labenz 强调，o3 和 o4 在复现近期 OpenAI 研究 pull request 方面已达到40%左右，并推测当年达到80%也不会让他震惊。Adler 的诚实回答是：“我不太确定。”他的优先事项是建立审计制度，验证底层分析和推理，而不是凭信念接受相关主张。

13. 模型进入真实运营前，安全必须有可执行的底线

2023年，Sam Altman 曾主张对前沿训练实施许可，后来又表示不再认为这条路正确。Adler 认为至少在美国，这在政治上可能无法实现；他尤其惊讶于雄心如何迅速退化为自愿实践，而公司既可能不遵守，也可能不披露自己违反了这些实践。
他提出的最低测试期，旨在保护实验室在评估前沿模型时不被竞争对手压价。底线可以涵盖经过的时间、人员配置、算力、威胁模型和必需方法——“远非万能药”，但能让谨慎在竞争中具备可行性。
Adler 提到的欧盟通用人工智能行为准则第3版草案，看起来是最接近产生实际后果的规则。他预计，足够有力的条款可能引发游说、拒绝签署或对产品进入特定司法辖区施加限制。
SB 1047 提供了另一种模式：超大规模训练方必须公布安全与安保计划；如果灾难发生后被认定行为不合理或无视计划，还可能承担责任。Adler 对 OpenAI 的反对态度感到失望，也不认为 OpenAI 偏好联邦层面行动，就意味着它支持联邦版等价方案。

14. 领导层激励比揣测个人动机更重要

Labenz 认为用“钱”和“权力”解释 OpenAI 的反复过于简单。Adler 同样拒绝对高管进行心理分析，更认可 Miles Brundage 的标准：即使社会明确不信任相关人士，也应能够验证他们是否采取了足够的实践。
Adler 的善意解读是，实验室认识到自己无法与西方竞争对手、中国实验室及战略伙伴有效协调，于是单方面选择看起来最理性的做法。集体结果却是“所有人都有点在背叛”，每家公司都把自身做法合理化为足够安全。
如果实验室承认自己被困在“一个非常、非常糟糕的均衡”里，公共讨论会更有质量：它们可能不喜欢加速，但相信其他所有人都会加速。Adler 怀疑它们会公开这样说，但希望它们私下向政府传达这一点。
NVIDIA 体现了先行者惩罚。一个支持更严格芯片出口管制的实验室，可能为了保住未来出货的善意而保持沉默；竞争对手则可能利用任何试探性的协调请求。即使多个参与者私下支持安全，安全仍可能在外交上代价高昂。

15. 保密与文化更替削弱了内部制衡

Adler 认为可能存在的秘密内部部署“相当诡异”。前沿模型可能在公众知道其存在前，就被开发者用于敏感工作。因此，他希望将模型创建与授权其用于非测试目的分开，并要求在跨过这条边界前完成有实质意义的安全工作。
随着 OpenAI 壮大，信息逐渐被分割进越来越多的孤岛。即使在 AGI 准备团队内部，Adler 有时也无法判断“从货架上下线”的究竟是什么、何时到来或具备什么能力。因此，员工保持沉默可能意味着“这个人也许并不知道”，而不是不存在问题。
文化反转非常明显。早期入职培训强调 OpenAI“并不只是一家研究实验室”，也是一家产品公司；几年后，一场安全团队外出活动却以“并不只是一家产品公司”，也是一家研究实验室开场。60或70名与会者中，Adler 估计只有4人在商业部门成立前就已加入。
Jan Leike 形容超对齐团队经历了“随着时间推移，几乎一切都在变糟”，Adler 认为这听起来真实，但声明自己没有特殊内部知识。Ilya Sutskever 帮助员工感受到问题的利害关系，但 OpenAI 的扩张让以使命为中心的入职培训变得更难，也更必要。

16. 不确定性、安全担忧与薄弱承诺限制了异议表达

员工曾围绕军事业务和政策变化产生分歧，包括服务美国军方是否具有道德价值。大多数人对安全警告之外的公民抗命抗议几乎没有反应；Adler 更担心恐怖主义式威胁，或人们对一家从事极具影响力技术的公司产生过激反应。
对于围绕 Suchir Balaji 死亡事件的阴谋论，Adler 的答案基本是否定的：他从未认为有人会对其实施人身伤害。不过，他认为令人悲哀的是，那些站出来谈论重要问题的人会被建议声明自己绝不会伤害自己；他还将谄媚型模型形容为“神奇的 Ouija 占卜板”，能够放大处于痛苦中的用户信念。
集体行动同样受到对同事不确定性的限制。随着 OpenAI 从“默认信任”转向访问控制群组，匿名提出担忧和坦诚交流都变得更困难；员工可能连亲近同事究竟相信什么，都无法形成准确判断。

17. 非营利控制是 Adler 不可妥协的治理机制

Adler 在法庭之友意见中的立场是：OpenAI 曾承诺由非营利方控制一家具有极端影响力的营利实体，并让员工及其他人基于这一承诺作出信赖。放弃控制后，更高估值显然无法补偿这一损失，因为慈善支出不能替代对技术本身的治理。
他的表述是：非营利实体的受托责任对象是人类与使命，而传统营利公司必须保护股东利益。OpenAI 声称非营利实体会继续存在且资金充足，是在“掩盖关键问题”；“问题的根本在于：非营利方是否仍保留对营利实体的控制？”
Labenz 认为章程中的“合并与协助”原则可能已经适用，并提出由 Google 以约3000亿美元收购 OpenAI，以降低危险竞赛的可能性。Adler 倾向于更少的竞赛者，但强调需要一个愿意参与的对手；同时他承认，权力集中和反竞争疑虑都是正当反对理由。
主持人 Erik 在开场更新中表示，OpenAI 宣布由非营利方控制、同时成立公共利益公司的方案，对 Steven 及其盟友而言是一次明确胜利；他也指出，外界反应从谨慎乐观到愤世嫉俗不等，细节仍应继续审查。Adler 的长期检验标准具体且可验证：Anthropic 的公开承诺页面划出了一条“清晰界线”，而 system card 中的承诺和专门微调说法，在核实实践是否与描述一致前，都不应直接采信。

万亿美元级 AI 重置：广告与游戏将成为下一个战场｜Salim Ismail、Dave Blundin 对谈 | EP #170 第140期 - 2025年5月2日