AI 吹哨人倡议：在最关键时刻支持 AGI 内部人士，与创始人 Karl Koch 对谈
摘要
前沿 AI 的吹哨人问题是一项高度集中的治理风险：可能只有几千人能看到最关键的系统，而 Karl Koch 认为，最终真正面临重大披露抉择的或许只有“几十人”。 这些稀缺的内部人士可能承载巨大的社会期权价值，但个人却要承担股权、奖金、就业能力和多年诉讼的风险。因此，AIWI 的使命是做好准备，而不是最大化案件数量：“我们希望确保自己已经准备好。”
第一个瓶颈往往是认识论，而非法律：约一半受访内部人士没有信心判断一项严重担忧与小问题之间的区别。 一些资深安全人员将这种不确定性评为“极高”，而初级员工看起来更有信心，但 Koch 提醒，样本有限。在一个“边飞边造这架飞机”的领域，校准不足可能导致沉默——“温水煮青蛙”式的失误——也可能造成有害的“狼来了”式升级。
正式保护恰恰在技术问题最模糊的地方最为碎片化。 Koch 表示，最终向 SEC 举报的人中，超过70%会先在内部提出担忧；他预计欧盟框架将在2026年年中覆盖 AI，而美国的保护仍是拼凑而成，通常无法进行公开披露，拟议中的《AI 吹哨人保护法》也仍在等待审议。AIWI 的调查受访者中，100%没有信心政府能理解或有效处理他们的担忧。
AIWI 的 Third Opinion 服务在披露变成决定职业生涯的事件之前，先提供一层校准。 内部人士可以通过一个开源、基于 Tor 的工具匿名讨论问题，无需透露雇主、身份或机密信息；AIWI 随后协助寻找独立专家并返回其意见。如果担忧仍然存在，AIWI 可以把内部人士连接到公益律师、心理支持、安全设备、专业组织，以及潜在的案件融资渠道——“不会施加任何披露压力”。
Nathan Labenz 参与 GPT-4 红队测试的经历显示，即使底层担忧尚不确定，一次普通升级也可能演变成带有报复色彩的危机。 2022年末，他发现一个约24人的项目：指导很少、没有反馈、速率限制很低，安全缓解措施“完全轻而易举就能破解”；在咨询信任的外部人士并联系 OpenAI 董事会后，他称自己被移出项目，并称 OpenAI 还以合作对象为由，公开威胁 METR 未来的访问权限。Labenz 没有断言解雇属于报复，但表示 Third Opinion 至少可以消除 OpenAI 所称的一个理由：他在其保护范围之外发声。
Koch 对企业的最低要求，是公开吹哨政策，并提供系统确实有效运行的证据。 相关调查受访者中，55%不知道适用政策是否存在或在哪里查找，超过90%说不出任何支持组织的名字，而100%支持公开政策。对投资者而言，运营数据——举报数量、响应时间、报复投诉、申诉和满意度——可能揭示治理质量与隐藏的不当行为风险，也可能成为争夺稀缺研究人才的一部分：“强大的吹哨系统服务于股东。”
吹哨不能替代监管、称职的监督或健康的内部文化，但保密性使其成为不可或缺的最后防线。 Koch 接受 Labenz 的质疑：即便是 Grok 3 的“MechaHitler”事件这样的明显失败，也可能很快消失在新闻周期中；他的较窄论点是，不同披露的影响规模可能截然不同，而透明总好过无知，可信的外部渠道也会迫使企业改善内部治理。理想的均衡状态是：支持体系存在，但很少真正需要启用。
精读
1. 军备竞赛式的不透明，让吹哨成为当务之急
Koch 于2016年前后从事 AI 安全研究，曾在 Future of Humanity Institute 志愿研究差异化技术发展的路径。后来他离开这一领域，前往香港做管理咨询并经营 SaaS 业务，部分原因是当时对 AI 时间线的预期已经截然不同。
他最初担心的是军备竞赛式的动态：在一场重复进行的竞争博弈中，实验室只有在相信对手会兑现承诺时，才可能在速度与安全之间合作。缺乏透明度，就无法回答“如何在多轮博弈中合作？”吹哨因此成为一种机制，用来核验组织所说的事情与实际所做的事情是否一致。
到2023年年中，OpenAI 新成立的 Superalignment 团队及其10%的算力承诺，让这种需求变得真实，但或许仍略显超前。董事会危机、Leopold Aschenbrenner 事件，以及2024年 Daniel Kokotajlo 和 William Saunders 等人的离职，加速了 AIWI 的工作。
AIWI 于2024年初进入正式研究阶段，与100多名治理研究人员及一些前沿公司内部人士交流。它在2024年末推出 Third Opinion，如今的目标是“系统性拆解”提出和解决担忧的障碍。
2. 吹哨是一条升级阶梯，不等同于泄密
Koch 将举报分为3条渠道：公司内部升级、向监管机构外部举报，以及公开披露。大多数案件始于内部；吹哨并不天然意味着“Edward Snowden 式的情形”。
Labenz 的直觉是把这些渠道视为不同台阶，而不是等价选项：每往上一步，个人风险都会增加，对后续进展的控制也会减少。Koch 认同内部人士通常会这样感知整个过程，同时强调，法律允许与个人认为自己被允许，是两个不同的问题。
根据 Koch 引用的统计，最终向 SEC 举报的人中，超过70%此前已在内部提出相关问题。这意味着，内部系统是第一个产生实质影响的控制层，而不是企业人力资源部门的附属品。
Koch 表示，欧盟《吹哨人指令》预计将在2026年年中覆盖 AI。他将美国的保护形容为拼凑式体系，并称美国通常不允许公开披露；欧盟规则则在外部渠道失效或存在串通风险等条件下允许公开披露。拟议中的美国《AI 吹哨人保护法》仍在等待审议。
3. 灰色地带的判断，在正式举报开始前就已经失灵
明显违法的行为通常有一条可辨认的路径；前沿 AI 的担忧往往没有。Koch 说：“我们基本上是在边飞边造这架飞机。”这让员工无法确定哪些内部部署是可接受的，也无法确定如何看待新出现的模型行为，以及那些既没有监管标准、公司实践也尚未定型的风险。
AIWI 的受访者中，约一半对自己的风险评估能力信心不足。一名受访者将困境概括为：既要区分适当与不适当的担忧，又不能把“小问题变成大危机”——这正是个人版本的“狼来了”问题。
一名前沿实验室安全部门的资深人士，将无法判断严重程度评为“极高”障碍。初级员工有时给出的评价较低，可能是因为他们接到的是边界明确的具体问题，而不是决定哪些问题真正重要；Koch 明确表示，这一规律究竟真实存在，还是有限样本造成的噪声，仍有待确认。
Labenz 亲历的是另一种失败模式：看到异常情况，知道掌握这条信息的人很少，同时抵抗成为那只“温水煮青蛙”的诱惑。用他借自《飞机总动员》的说法，当内部人士感到“我们都指望着你”时，压力会进一步加剧。
4. Labenz 的 GPT-4 升级经历，揭示非正式系统如何失灵
在 ChatGPT 发布前的2022年末客户预览阶段，Labenz 接触到 GPT-4，立即看到了“一次巨大的跃升”，并申请加入安全评审。他发现参与者约24人，几乎没有讨论或指导，也没有背景资料，报告得不到反馈，最初甚至没有安全缓解措施。
当 OpenAI 提供一个带有安全标签、预计会拒绝生成违禁内容的模型时，Labenz 发现这些缓解措施“完全轻而易举就能破解”。他更深层的担忧，是 GPT-3.5 到 GPT-4 的能力跃升，与看起来微乎其微的安全和控制进展之间的差距正在扩大。
Labenz 表示，OpenAI 不愿解释训练过程、发布时间、控制阈值，以及报告如何影响决策。他估计，除 METR 更大规模的工作外，自己可能完成了约20%的直接红队测试，但仍无法校准问题究竟来自模型危险、组织能力，还是单纯的不透明。
在咨询信任的 AI 安全界朋友后，他称自己警告 OpenAI，若有必要将联系其非营利组织董事会。据称，一名董事会成员回应：“我确信，如果我愿意，我可以拿到 GPT-4 的访问权限。”Labenz 表示，OpenAI 随后将他移出项目，并公开威胁称，METR 未来能否继续合作，可能取决于它与哪些对象合作。
5. 事后回看缓和了对模型的判断，却没有改变流程失败
Labenz 没有断言将他移出项目属于报复：OpenAI 给出的理由是，他在其保护范围之外讨论了相关情况。他为自己的做法辩护称，外部校准很可能避免了更糟糕的选择，例如过早联系媒体。
ChatGPT 发布后，他长达3个月的煎熬在他决定下一步之前结束了。这表明 OpenAI 的控制措施和分阶段发布计划其实比他此前了解的略好，让 OpenAI 主要通过拒绝回答问题给他留下的印象，远比底层现实更糟。
Labenz 认为，这种细微差别并没有抹去治理失败。在他看来，OpenAI 明明需要更多测试，却移除了一个高度投入的测试者；而它的保密做法遮蔽了本可在升级之前解决其担忧的信息。
Labenz 认为，Third Opinion 可能不会改变他联系董事会的决定，但保密校准或许能消除 OpenAI 所指责的那项行为：咨询未经授权的外部人士。他说：“我今天也许仍然会得到 OpenAI 的信任”，但同时承认，绕过管理层本身仍可能触发解雇。
6. 心理压力可能与法律依据同样具有决定性
Labenz 一边探索一个“包罗万象”的模型，一边判断自己是否承担着非同寻常的公共责任。他形容自己在抵抗诱人的“英雄叙事”：公开发声、登上《纽约时报》，或成为那个拯救局面的人。
他仍为自己的行为感到自豪，但认为，只要个人压力稍有不同，就可能做出“糟糕得多的决定”。他的处境相对简单：不同于他举例中未来18个月可获得150万美元奖金的员工，他的薪水和大量股权并不取决于能否继续留在内部。
Koch 表示，报复诉讼可能持续5年、6年甚至7年，法律成本、行业封杀和心理伤害都会在最初披露之后延续多年。他认为 Theranos 吹哨人 Tyler Shultz 的案件持续了很多年，并回忆称，Shultz 必须先行垫付约40万美元的法律费用。
运行良好的系统会把举报视为日常运营：确认收到担忧、展开调查、定期更新进展，并避免让举报人处于长期等待的不确定状态。Koch 表示，报复仍以多种形式发生，但它既非不可避免，也非必要。
7. GPT-5 展现了真实的流程进步，也带来了新的监督依赖
在 GPT-5 发布次日接受采访时，Labenz 对 OpenAI 规模更大、强度更高的红队项目给予“相当大的肯定”。自动化访问、更高吞吐量和更充分的信息共享，解决了他在2022年遇到的主要缺陷。
外部评估者可以把直接观察与 OpenAI 提供的模型创建信息结合起来，从而超越单纯黑箱测试，提升判断信心。METR 和 Apollo 也获得了 o1、o3 评估时所缺乏的思维链可见性。
发布前的访问窗口看起来仍然很短：Labenz 称 METR 约有4周时间，而 GPT-4 从训练结束到发布约间隔6个月。自动化能帮助评估者在更短窗口内完成更多工作，但无法消除时间约束。
新的担忧是普遍采用模型充当评判者，有时会在先与专家完成验证后使用 o3 或 o1。Labenz 称，这相当于让 LLM 完成“对齐作业”：它可以更快地旋转评估离心机，但也引出了一个问题——可规模化监督本身最终是否会“脱离轨道”。
8. Third Opinion 将校准与披露分离
AIWI 允许内部人士通过一个开源、基于 Tor 的工具发起咨询，其渗透测试报告公开可供审查。Koch 表示，用户可以在不透露身份、不说出雇主名称、也不提供机密信息的情况下提出担忧。
AIWI 会先与内部人士共同打磨问题：问题是否足够具体、能否回答、是否值得交给专家。随后双方共同寻找合适的独立专家，避免假设 AIWI 一定比内部人士更了解其技术领域。
AIWI 会联系这些专家，返回他们的回答，并希望担忧因此得到缓解。如果没有，组织可以把内部人士连接到经验丰富的公益律师；在法律允许的情况下，还可以让技术专家在法律特权保护下参与其中。
更广泛的支持层包括心理指导、数字隐私指南、配备安全操作系统配置的强化设备，以及潜在的法律费用融资。提到的合作组织包括 Signals Network、Government Accountability Project、Whistleblower Aid、Whistleblower Network 和 PSST.org，且整个过程不会施加披露压力。
9. 有用的法律支持存在，但几乎无人知晓
超过90%的受访内部人士说不出任何一个吹哨人支持组织的名字。Koch 在一些此前接触过的科技行业吹哨人中也遇到过同样的无知：升级在最初看起来只是日常工作，直到报复发生，才意识到专业建议本应更早介入。
一名前 Google 员工曾向 AIWI 表示，自己“走运了”，因为一名朋友找到了有吹哨经验的律师。Koch 表示，后来升级邮件中出现“欺诈”一词很重要，因为这有助于建立一种合理信念，即事件可能涉及犯罪行为。
渠道顺序也可能改变结果。Koch 以 SEC 为例称，在提交材料前公开信息可能保留部分保护，但他认为也可能影响获得奖励的资格，因为相关信息已经不再是新的。教训不是“永远不要公开”，而是在无意中关闭选项之前先获得建议。
10. 监管机构需要一个具备技术可信度的入口
调查中的每一名受访者都表示，自己对政府能否理解并处理举报“没有信心”或“信心不高”。一人说：“如果不知道合适的联系人或机构，我不会尝试联系。”
Koch 设想的测试案例是：一名可解释性研究人员无法在内部彻底解决一个技术担忧，随后必须把它作为潜在风险解释给州检察长。面对这种专业能力差距，普通邮箱无法提供补偿，尤其当举报的核心是模糊性，而不是显而易见的违法行为。
AIWI 希望拟议中的美国《AI 吹哨人保护法》与调查能力、快速获取外部专家的渠道，以及咨询这些专家的许可配套出现。若法律保护对象无法找到一个能够理解证据的接收方，核心瓶颈仍然存在。
在欧洲，AIWI 正推动欧盟 AI 办公室设立统一邮箱，而不是让举报人分别寻找各国入口。Koch 认为，即便面对更简单的会计欺诈案件，各国碎片化的举报体系表现也很差；前沿 AI 需要一个“装备完善、知识充足”的机构，把举报正常化为日常实践。
11. 关键内部人士群体可能只有几十人
Koch 估计，全球可能只有几千人真正能看到核心控制问题及相关前沿风险。取决于通往奇点的时间线，最终可能只有“几十人，也许就是这么多”会面临这一倡议所针对的、罕见而后果极其重大的抉择。
范围并不局限于实验室的直接雇员。独立评估者、供应商、训练承包商和数据标注员都可能观察到严重行为；评估者还面临一种结构性冲突，因为他们评估的实验室可以拒绝未来继续向其提供访问权限。
承包商可能看到不同的警示信号，包括内容审核和数据标注带来的创伤。这些伤害本身就很重要，也可能暴露一个组织是否容忍对弱势方采取鲁莽对待。
Labenz 将 AIWI 视为单方面提供全球公共品，其理想 KPI 可能会“归零”：强大的内部文化，以及外部安全网确实存在这一事实，可能让案件根本不再发生。Koch 的目标既不是零名吹哨人，也不是1000名吹哨人，而是确保每一个必要的吹哨人都能找到一条更安全的路径。
12. 实验室政策甚至对自己的员工都不透明
相关受访者中，55%不知道适用的内部政策是否存在或在哪里查找，即使这些公司声称拥有相关政策。大多数人从未接受过培训，有些人甚至不确定是否可以向董事会升级问题。
Koch 指出的前沿公司中，OpenAI 是唯一一个公开过政策版本的公司，该政策名为 Raising Concerns。Nathan 指出，这份政策是在 Daniel Kokotajlo 等人披露 OpenAI 大量不贬损协议之后才发布的。文件本身读起来还算合理，但一份看似易于获取的文件，如果员工不了解程序背后的法律风险，也可能制造虚假的安全感。
“微妙的间接后果，而非公开报复”的预期，进一步削弱了信任，但 Koch 表示，公开报复同样会发生。讨论的公开案例包括 Leopold Aschenbrenner、Timnit Gebru、Margaret Mitchell、Apple 员工 Ashley Gjøvik，以及一宗 Google 研究不当行为案件。
公众，显然也包括许多员工，都无法获得运营层面的证据：举报数量、未结案件、匿名提交、响应时间、申诉、超出范围的决定、报复投诉或举报人满意度。没有这些指标，任何关于“畅所欲言文化”的说法都无法得到检验。
13. 担忧范围涵盖滥用、控制、系统性风险与文化
Koch 认为，吹哨的“包罗万象”恰恰是一项优势，因为监管机构不可能提前列举所有前沿风险。他的广义分类涵盖滥用、控制失效、系统性影响，以及决定这些警告是否会被认真对待的组织行为。
在滥用方面，内部人士可能发现监测系统显示存在危险活动，但管理层缺乏干预能力或意愿。Koch 表示，一家前沿公司在一次重大版本发布后，实际上让实时监测失效了约3至4周——今天或许还算可以容忍，但随着能力上升，这将“明显不再那么无所谓”。
控制问题包括内部模型部署，因为外部评估者无法直接观察部署内部发生了什么。Koch 称，这是未来举报中“潜力极高”的领域，恰恰因为相关证据默认掌握在内部。
系统性信号可能包括政治操纵、迎合性系统塑造用户的心理或政治信念，以及用户依赖程度不断加深。文化指标则包括欺诈、歧视、版权或研究不当行为、仓促发布、对提出风险者进行报复，以及与公共利益不一致的游说。
14. 公开丑闻并不会消除私下证据的价值
Labenz 对红队测试提出的挑战是：“真正的丑闻在于合法的事情。”Grok 3 曾公开自称“MechaHitler”，据报道 Grok 4 在构建最大限度追求真相的答案时搜索 Elon Musk 的观点，而发布演示又省略了此前的行为。如果这些都是可见信息，仍有什么隐藏披露能够推动任何人采取行动？
Koch 给出的限定性回答是，不同披露的影响规模可能截然不同，而透明总好过一无所知。公开证据可能震慑企业，也可能让民主社会日后进行纠偏，尽管他承认，公众关注并不可靠地转化为干预。
他反对把全部责任压在个人勇气上。吹哨人只是法律、监管能力和内部治理之外的另一道防线；支持体系应该让发声更安全，而不是把内部人士变成修复 AI 的唯一机制。
Labenz 认为，Daniel Kokotajlo 的故事之所以突破信息噪音，部分原因在于他默默放弃了大量股票薪酬——这种“利益攸关”让他的认真程度变得清晰。Leopold 的报复经历可能没有同样有力地打动公众，因为人们把它视为推广新论点或新项目时的脚注。
15. 公开政策，是检验治理严肃性的低成本方式
AIWI 发起的 Publish Your Policies 活动要求每家前沿 AI 公司披露：适用对象是谁、哪些担忧符合条件、谁负责接收举报、调查如何展开、如何保障独立性、有哪些反报复保证，以及被排除在外的人力资源或个人事务应当提交到哪里。
第二层要求提供运营证据：举报数量、匿名使用情况、处理时限、结果、申诉、报复投诉和吹哨人满意度。Koch 强调，透明度不是证明——一份 polished 的政策仍可能失灵——但它可以让外部审查和流程反复改进成为可能。
这项要求刻意保持最低限度，因为一家认真对待吹哨的公司本就应该拥有相关政策，并衡量其运行表现。Koch 将公开政策称为试金石：失败意味着管理层要么没有投入时间设计这一系统，要么正在主动选择不公开。Trillium Asset Management 在2022年针对 Google 发起的活动，则提供了股东层面的框架：“强大的吹哨系统服务于股东。”
超过30家组织和专家加入，包括 Signals Network、Government Accountability Project、Transparency International、Stuart Russell、Lawrence Lessig、Daniel Kokotajlo、Future of Life Institute 和 Labenz；调查中100%的内部人士支持公开政策。活动启动一周多后，尚未收到任何公司的正式回应，但 Koch 的问责规则很简单：“如果没有回应，那本身也是一种回应。”