已到紧要关头：Ajeya Cotra 谈 RSI 与 AI 驱动的 AI 安全工作——来自 80,000 Hours 播客
摘要
Cotra 的核心预期是：2030年代初将出现达到顶尖人类专家水平的 AI，随后软件自动化可能迅速外溢到机器人、芯片制造以及完整的物理生产闭环。 如果 AI 和机器人能够完成生产更多 AI 与机器人的全部工作，那么如今约2%的增长常态就不再是有说服力的上限。她认为不能排除的极端情形是：2050年与今天的差异，可能如同今天与狩猎采集社会的差异——“相当于10,000年的进步，而不是25年的进步”（“10,000 years of progress rather than 25 years of progress”）。
真正可投资的分歧不在于 AI 是否重要，而在于它是让增长增加0.3个百分点，还是把峰值增速推向每年1,000%。 偏慢增长的观点外推了150年顽固稳定的前沿增长，并假定存在隐藏瓶颈；偏快增长的观点则外推了更长历史中由更大人口、更多想法和正反馈带来的加速。结果是“100倍、1,000倍或10,000倍的分歧”，足以逆转人们对工作、政策和风险的判断。
基准测试头条是微弱的预警信号，因为每项基准都会走完 S 曲线、触及饱和，并在真正证明现实世界危险之前被替换。 Cotra 更希望实验室按固定频率披露内部最强结果、实际生产率提升、内部 AI 使用情况，以及主要由 AI 编写并审查的 pull request 占比。决定性指标是 AI 是否已经开始加速整个 AI 技术栈——不只是代码，还包括芯片设计、制造、设备、维护和原材料供应。
“紧要关头”（crunch time）是这样一个狭窄窗口：AI 可能已经强大到足以改造安全工作，却尚未强大到脱离人类控制。 一旦 AI 研发被大幅自动化，原本预计需要10年、20年或30年的进展，可能在6个月到2年内到来。Cotra 的处方是，尽可能把 AI 劳动力从递归式能力提升转向对齐、网络防御、生物防御、监测、谈判和集体决策。
主流前沿实验室趋同的安全方案，是用每一代 AI 去理解并保护下一代系统，但真正的约束风险可能来自机构承诺，而非技术上做不到。 即使一家实验室拥有相当于100,000名聪明人的智能劳动力，也可能只把100人等价投入安全工作，竞争则吞噬其余资源。Cotra 对控制技术“相当乐观”，认为它们可以从早期、尚未达到“galaxy brain”级别的系统中提取有用工作；但她警告，检查不足会把权力交给模型，穷尽式检查又会摧毁速度优势。
如果外部安全组织必须在紧要关头动员，算力和模型访问权就会成为战略资产。 领头实验室可能扣留最好的内部系统，或把推理定价到接近将这部分算力用于进一步自我改进的机会成本。Cotra 因此考虑过持有 GPU、签订模型访问协议，或通过 NVIDIA 及其他 AI 敞口上市股票对冲算力通胀——但超指数级反馈回路仍可能把今天的竞争市场变成赢家通吃式集中。
Cotra 的组织经验是，AI 采用必须在紧急状态到来前启动，因为政府和慈善机构都不可能在6个月内临时搭出一套新的运营模式。 Open Philanthropy 最终用于 API credits 和 GPU time 的支出可能超过人力薪酬，但其多层资助审批流程并不适合十亿美元级、时间紧迫的部署。她更广泛的警告很形象：如果不激进采用，行业的“快车”（fast cars）将由使用“马车”（horses and buggies）的监管者来监管。
节目发布后的框架认为，时间表可能已经在缩短。 交叉发布说明，Cotra 在2026年1月做出预测后，于3月5日撰文《I Underestimated AI Capabilities Again》，因为截至当年头几个月，几项预期已经开始兑现；文章还提到 Anthropic 的 Mythos 模型，以及据报在各大操作系统和浏览器中发现的 zero-day 漏洞。结论刻意保留条件，却充满紧迫感：“紧要关头现在或许已经到来”（“crunch time is arguably here now”）。
精读
1. 交叉发布称，紧要关头可能已经开始
The Cognitive Revolution 将 Cotra 介绍为一位异常强的预测者：她在2025 AI Digest 预测调查的400多名参与者中排名第3。其框架是，即便是加速主义者，若复利式自动化没有遇到不可逾越的瓶颈，也可能遭遇“未来冲击”（future shock）。
文章后记称，Cotra 于3月5日发表的《I Underestimated AI Capabilities Again》指出，她在2026年1月做出的预测，已经在当年前几个月开始兑现。
导言还提到 Anthropic 的 Mythos，称其在主要基准上取得大幅提升，并据报在每个主要操作系统和浏览器中发现了 zero-day 漏洞。文章的底线不是超级智能已经到来，而是“紧要关头现在或许已经到来”。
2. AGI 已被稀释到几乎什么也预测不了
DealBook 的例子揭示了语义漂移：约10名与谈者中的7或8人预计，到2030年 AI 将能完成一切人类能做的工作；但其中8人又预计，随后10年 AI 创造的就业岗位会多于摧毁的岗位。
Cotra 没有认同2030年这一预测，因为她的时间表略长。她感到困惑的是概念上的矛盾：“为什么你认为5年内会有 AI 能完全做到顶尖人类专家所能做的一切”，但就业仍会按传统路径扩张？
被追问后，与谈者退回到更温和的定义——“我们某种程度上已经有 AGI 了”，也许 GPT-5——然后把短期没有发生剧变，当作 AGI 从未具有重大意义的证据。Cotra 认为，这是把一个定义下的证据偷渡到一个强得多的定义中。
3. Cotra 的2050年更像史前时代，而不是2000年
主流图景是可管理的连续性：人口略有增加，医疗更好，寿命小幅延长，技术变化大致相当于2000—2025年。即便预计2030年出现 AGI 的人，往往也保留着这一基准情景。
在另一端，If Anyone Builds It, Everyone Dies 所代表的世界观，是从 GPT-5 或 GPT-6 这类系统突然跃迁到一种智力，面对它人类就像“猫、老鼠或蚂蚁”，随后借助纳米技术或接近光速的探测器立即获得物理杠杆。
Cotra 认为两端之间存在一条宽广光谱：中间阶段仍会通向接近物理极限的技术，包括有用的自我复制系统。她最醒目的比较是，2050年可能体现的是“10,000年的进步，而不是25年的进步”。
4. 远程工作的超级智能可能闭合物理生产环路
Cotra 的核心预测是，2030年代初将出现达到顶尖人类专家水平的 AI：这些系统在通过计算机远程执行的任务上，能够胜过最优秀的病毒学家、软件工程师或其他专才。在此之前，更窄领域的系统可能已经显著改变世界。
从那时起，超人类认知系统可以指挥人类劳动力制造机器人执行器，再自动化更多物理工作。她的不确定性很大，但认为也许1年或数年就足以让机器人显著提高自主性，因为大模型、规模、数据和模仿学习都在推进这一领域。
Tom Davidson 的《Three Types of Intelligence Explosion》补上了关键框架：更好的 AI 软件只是一个回路。完整的自我复制还需要芯片设计、晶圆厂、制造晶圆厂设备的机器、维修、原材料，以及生产更多芯片和模型所需的每一层上游依赖。
5. 增长预测相差3到4个数量级
这场对话把真实区间摆得很直白：一些严肃分析师预计 AGI 只会让经济增长增加0.3个百分点，可能相当于当前增速提高约15%；另一些人则设想峰值年增速达到1,000%，甚至几千%。
这不是彼此从未交换论据的孤立阵营之间的分歧。人们反复讨论了背后的机制，仍然在技术可能带来的经济影响上相差100倍、1,000倍或10,000倍。
政策后果会随预测反转。一个从0.3%转向1,000%的加速主义者，可能会变得更加担忧；一名 x-risk 研究者若反向调整判断，则可能把这一新观点视为足以否定其大量现有工作的决定性证据。
6. 两种外部观点让分歧无法收敛
偏慢增长者从前沿增长大致稳定在2%的100—150年历史出发。电气化、洗衣机、广播、电视、计算机和互联网改变了生活，却没有在可观测增长中造成明显的永久性断裂，因此 AI 可能只是维持同一趋势。
他们的辅助直觉是霍夫施塔特定律：“即使把霍夫施塔特定律考虑在内，事情也总比你想的更久。” Cotra 最喜欢的变体是程序员信条：“我们做这些事，不是因为它们容易，而是因为我们以为它们容易。”
偏快增长者把视野拉回10,000年，看到增长不断加速：公元前3000年左右或许只有0.1%的增长，工业革命后则接近2%。更多人口带来更多想法，提高粮食产出、支撑更多人口，再次形成反馈循环。
双方都有一套解释对方错误的理论。一方把每个爆发式情景都听成又一个省略摩擦因素的故事；另一方则把“会有瓶颈”听成没有根据的笼统假设——其中的具体例子或许能把1,000%的增长压低，却不能证明上限是2%甚至10%。
7. 瓶颈需要可观测测试，而不是新一轮故事
Cotra 希望用近期观察来裁决这些先验判断，首先看 AI 在软件和 AI 研发中的实际增益。METR 的随机对照试验把开发者分为允许使用 AI 和禁止使用 AI 两组，并发现，在该实验环境中，AI 反而拖慢了真实工作的完成速度。
她不认为这一结果会永远成立，但重视在提速变得压倒性之前先拿到测量结果。基准测试应与内部部署、公司 RCT、自我报告和可观察产出交叉验证，而不能被当作自证有效的能力指标。
她给出的办法是，找到采用最深入的领域，测量真实生产结果：不只是模型能否回答太阳能板相关问题，而是 AI 密集型工厂能否更快制造太阳能板，或更快提升其性能。
8. 智能体基准有所改善，但现实世界才是检验
Cotra 在2023年末发布的征求提案，区分了困难且真实的智能体基准与其他证据。她希望模型能够订机票、修复软件、编写并运行测试，再不断迭代直到成功，而不是只回答选择题。
研究者对基准测试方向反响强烈，产出了 Cyber 等项目；Cyber 是一个用于标准评测的网络攻击基准。调查和 RCT 的兴趣则弱得多，因为基准测试“干净且封闭”，现实却“混乱且开放”。
Cotra 仍强调，基准测试经常高估现实表现。配套的证据项目原本就是为了捕捉部署、采用和结果，而这些内容无法由自动评分复现。
Forecasting Research Institute 的 LEAP，即 Longitudinal Experts on AI Panel，如今会向约100—200名 AI 专家、经济学家和超级预测者询问6个月、1年和5年的指标，再把细分预测与长期世界观连接起来，并检验谁的判断正确。
9. 私下发生的智能爆炸可能超出公众认知
AI 2027 给出了这样的情景：故事中的领头公司 OpenMind 领先得太多，于是把最好的模型留在内部，只发布略优于竞争对手公开前沿产品的系统。
如果内部 AI 研发的价值高于外部收入，这家公司没有必要把最好的产品拿去变现。因此，公众可能只看到产品渐进式改善，而实验室内部的生产率已经爆发。
Cotra 担心的是预警窗口消失。社会或许本来可以提前6个月或12个月知道哪种增长机制已经启动，但政府和外部专家仍无法行动，因为决定性证据留在实验室内部。
10. 透明度应衡量委派程度，而不只是基准分数
Cotra 希望实验室按日历固定节奏报告内部最强的基准结果，比如每3个月一次，而不是只在产品发布时披露。Claude Opus 4 或 GPT-5 的公开模型卡有帮助，但无法覆盖纯内部部署。
她更关心系统实际上如何被使用。CEO 有时会夸口称 AI 写了90%的代码，但代码行数是很弱的证据；更准确的指标是，内部 pull request 中主要由 AI 编写、且主要由 AI 审查的比例。
这一指标同时捕捉能力和组织让权程度。如果管理、批准和审查仍由人类负责，进展就只能加速到一定程度；要实现“快得离谱”的增长，AI 最终也必须承担这些更高层级的职能。
Cotra 还希望披露内部增益研究、主观提速估计、算法进展和严重失配事件，例如已部署模型是否在重要事项上撒谎并隐藏日志。这些恰恰也是对竞争和声誉最敏感的披露。
11. 公共证据很重要，因为警报必须变成共同认知
单靠基准测试无法触发警报，因为它们不断走完 S 曲线、触及饱和，再被更难的新基准取代。即便在今天的评测中拿到100%，Cotra 也不会因此相信模型能够接管世界。
来得晚但清晰的信号是可观察的生产率：内部发现新成果的速度远快于过去。到了这一步，“他们绝对应该拉响警报”，因为理论进展已经肉眼可见地反馈为更多进展。
Rob 建议向技术能力较强的政府机构提交机密报告，这些机构本来就经常接收商业敏感信息。Cotra 认为这比沉默好，但怀疑10名或50名人手不足的官员，能否足够快地解读不断变化的证据前沿。
她偏好的警报更像 COVID-19，或 Joe Biden 灾难性辩论后公众对其能力的重新评估：必须形成全社会对话。若 Arvind Narayanan 这样的著名怀疑者公开改变立场，就会把旧金山派对上的传闻变成共同认知。
12. 透明度立法应瞄准价值最高的信号
Cotra 不把全有或全无的披露方案列为唯一最优先的政策战场。她倾向于先找出哪些证据能揭示智能爆炸，再优先争取价值最高、投入产出比最大的部分。
公共披露会带来艰难取舍：算法进展异常迅速会吸引竞争者，进展异常缓慢会打击投资者，失配事件则令人难堪。汇总行业数据或许能缓解这些成本，但前沿实验室只有几家，观察者往往仍能推断信息来源。
New York 的 RAISE Act 和 California 的 SB 53 等现有努力符合这一更广泛的方向，因为它们强调透明度和举报人保护。Cotra 将举报人视为支持透明度的重要政策支柱。
泄露仍然不够。湾区安全研究者与实验室员工之间的社交联系，可能让人提前知道将发生什么，但“旧金山科技男派对上的传闻”无法成为华盛顿、伦敦或布鲁塞尔采取高成本行动的依据。
13. 警报应在能力复利之前重新分配 AI 劳动力
如果 AI 大幅自动化前沿 AI 研发，原本预计需要10年、20年或30年的进展，可能在1—2年内到来，甚至只需6个月。系统在拉响警报时或许仍可管理，却会迅速逼近“神一般的能力”。
Cotra 的回应是，把尽可能多的 AI 劳动力从制造更强模型，转向保护社会免受继任系统伤害的工作。目标包括接管风险、滥用、基础设施脆弱性、地缘政治冲突，以及更强 AI 带来的其他扰动。
领头公司很难单方面转向，因为竞争对手可能趁机追上。警报因此创造了一个协调窗口：如果社会能够可信地看到，距离激进超级智能只剩6个月、12个月或18个月，竞争者就可能协调起来，把资源转向防护工作。
14. AI 驱动的安全工作并非循环论证，但信任是瓶颈
批评者把这种策略称为“凭感觉飞行”（flying by the seat of your pants）——用制造问题的技术去解决问题。Cotra 的回应是，文明一再利用通用技术来遏制其自身产生的外部性。
汽车既促成了驾车枪击和劫车，也装备了执法机构；计算机既带来了黑客攻击，也实现了自动化监控和漏洞发现。人们往往能详细想象新技术带来的伤害，却想象不出同样由技术赋能的防御手段。
Nathan 最初认为，失配尤其棘手，因为让 AI 解决对齐问题，可能等于要求它破坏对自身的约束。Cotra 的反驳更广：一个追求权力的模型同样会破坏生物防御、认识论改进以及可能暴露或阻止它的文明防御体系。
核心技术问题，是通过控制、对齐、可解释性及相关技术建立足够信心，从而依赖 AI 的输出。检查过度会成为进展瓶颈；检查不足则意味着“我们把接管权交给了 AI”。
15. 防御组合从对齐延伸到文明级韧性
对齐是基础：每个系统及其继任者都必须持续愿意帮助人类、保持诚实、可操控并服从指令。链条中的任何一处失败，都会危及后续所有防护应用。
网络防御是一场天然的双重用途竞赛。能够在电网、武器和关键系统中寻找漏洞的模型，也可能在恶意行为者获得类似能力前，先识别并修补这些漏洞。
生物防御可以结合新型病原体的快速检测、更快的医疗对策，以及 PPE、洁净室或相关基础设施的大规模生产。如果机器人技术也已成熟，AI 还可以帮助执行制造，而不只是提出建议。
更具推测性的工作则针对集体认知：求真、谈判、妥协、政策设计、避免中美战争、太空治理、价值锁定以及更健康的政治话语。Cotra 将其中大部分归为 AI 用于“协调、妥协、谈判和求真”。
16. 前沿实验室押注用一代系统保护下一代系统
Cotra 在 OpenAI、Anthropic 和 Google DeepMind 的公开方案中看到相同架构：随着模型改进，公司希望更深度地把 AI 纳入对齐、控制、可解释性和安全工作。
这一方案需要在系统变得无法控制之前，存在一个有用的时间窗口——最好能够提前观察到，并且至少持续6个月或1年，即便没有特别的减速。
如果跨过通用性门槛后，极端超级智能在几天或几周内出现，这套策略就会失败。社会可能还没注意到转折、调动资源、验证模型的工作或完成协调，控制权就已经丧失。
17. 能力排序可能让窗口期失去意义
一种尤其糟糕的能力排序是：AI 在 AI 研发上异常强大，却在所有防护工作上都很弱，甚至不擅长关系密切的安全研究。它可能花数月提高继任模型的样本效率，却无法用于对齐、生物防御或治理。
Nathan 指出其中的表面矛盾：这样狭窄的系统本身并不具备广泛危险。Cotra 的解释是，它可能像 AlphaFold 那样成为某个领域的专才，或进行盲搜，发现一种架构或训练方法，让继任者突然“go foom”（爆发）。
当前的技能画像已经参差不齐。Cotra 的机器学习研究员朋友，在奇怪的开放式思考、播客和资助相关邮件上获得的提升比她更大；控制和对齐则受益于这些工作与软件工程和机器学习研究的相似性。
道德哲学、谈判、政策和制度建设可能严重落后。任务离代码和机器学习研究越远，Cotra 预计其能力折损就越大。
18. 紧密反馈回路偏爱代码，而不是制度
AI 擅长那些成功能够迅速被识别的领域：代码要么运行，要么失败。这种“很难造假的信号”支持训练、评估和反复改进，而管理或政治项目可能要经过1年才能见效。
模型可能写出一篇有说服力的白皮书并得到一个赞，却未必能带领数千人和机器人完成执行。Nathan 的讽刺是：“这是个小工具……去生产100亿个。”模型回答：“祝你好运。”
防御规划因此应假设，想法会早于执行能力到来。PPE、疫苗、病原体检测、洁净室或制造能力等长周期基础设施，可能必须在系统具备设计威胁的能力前就建好。
Cotra 把 AI 防御劳动力视为需要据此规划的预测，“不是保证”。人类现在应专门投入未来模型可能相对薄弱的任务，尤其是物理部署和社会协调。
19. 智能爆炸同时改变紧迫性与能力
安全工作应在 AI 变得有用后立即使用它；紧要关头不是等待的许可。其特殊意义在于时钟：默认轨迹可能只留下12个月，随后就进入无法控制的超级智能阶段。
紧要关头也提供了新的杠杆。因为届时 AI 按定义已经非常擅长 AI 研发，其中一部分工作可以转向填补自身的技能缺口，为生物防御、哲学、谈判或其他优先事项微调或搭建脚手架。
Cotra 将这一逻辑延伸到慈善领域：如今超过80%的资助资金用于人类薪酬；几年内，更好的配置可能是 API credits 或租用 GPU time，以支持相近分布的研究和政策工作。
20. 暂停应拉长过渡，而不是冻结后跳跃
Cotra 认为，她的方案与在智能爆炸边缘暂停相容。如果默认过渡期是12个月，她会投票把过渡拉长“10倍甚至更久”——用10年、15年或20年取代1年。
她把暂停重新定义为一条连续谱。社会不必在100%的 AI 劳动力用于改进模型和0%之间二选一，而可以反复减速、转向、测试，并选择性推进那些能改善防御却不会让系统失控的能力。
她不赞成“暂停，闲置10年，然后恢复”的方案，因为那只是保留了之后的跳跃。她更愿意慢慢穿过一个甜蜜点：模型足够强大，能够提供帮助，但还没有强大到“我们已经输掉这场游戏”。
21. 实验室最可能的失败不是对齐不可能，而是投入不足
Cotra 认为最主要的失败模式，是实验室从未执行承诺的资源转向。竞争压力可能让100,000名聪明人类等价体中只有100人从事安全工作；这比过去的安全劳动力更多，却相对于能力提升速度微不足道。
Rob 提议通过法律要求或跨公司承诺，把可能50%的算力用于安全。Cotra 认为难点在执行：什么算安全，谁来审计每支团队，监管者又如何在缺乏深度技术能力的情况下区分防护研究和能力研究？
严重的早期失配是可能的，但不是她最可能的失败判断。如果控制技术无法获得模型的诚实工作，模型可能选择性地推进能力，同时破坏对齐、生物防御和其他安全措施；即便进展放缓，人类也会被留下“只能靠自己”的局面。
企业进行断崖式转向本身就很困难。Cotra 希望实验室逐步增加用于安全的人力、推理算力和微调投入，让最终转型沿着既定节奏发生，而不是要求机构突然重建一套运营模式。
22. 慈善机构可能需要用推理预算取代薪资预算
Open Philanthropy 的当务之急，是监测 AI 在自身工作以及 Forethought、Redwood Research、Apollo 和政策机构等受资助方工作中的实际效用。一旦某项受资助活动出现自动化带来的“生命迹象”，就可能值得迅速扩大规模。
Cotra 建议明确区分传统资助和购买 AI 劳动力的支出。跟踪 ChatGPT Pro 订阅、API credits 和推理算力，就能看出 AI 在资助中的占比是否随着能力和紧要关头预期同步上升。
现有审批链不适合十亿美元级决策：一名初级员工提出方案，信息再经过2层、3层或4层管理层向上流转。这套流程不可能直接扩展到一个初级员工根本不应合理授权的时间关键型承诺。
在容易的情景中，Open Philanthropy 自身大部分实现自动化，可能拥有约1,000名 AI 团队成员，而不是45人。在更困难的参差能力情景中，AI 只掌握少数可资助的垂直领域，机构仍受人类瓶颈制约，也缺乏对时刻已经到来的切身感受。
23. 模型访问权和算力所有权成为战略瓶颈
一个外部安全组织即便拥有数十亿美元，也可能买不到最领先的模型。前沿实验室可以把最强系统留在内部，只出售略微领先于竞争对手公开产品的较弱系统。
即便卖方愿意出售，价格也可能高得令人望而却步，因为推理的机会成本是训练或运行更强的继任者。紧要关头的算力价格，因此可能反映递归改进价值，而不是普通 API 经济学。
Cotra 的对冲方案包括持有 GPU——平时商业出租，必要时再调配——或持有 NVIDIA 等流动性较好的 AI 敞口股票。算力价格上升会推高投资组合价值，但组织仍需要获得在自有硬件上运行前沿软件的权利。
24. 竞争先扩大访问，随后可能形成赢家通吃的竞赛
Cotra 预计，早期紧要关头会像今天一样：几家领先公司可能相差不到1个月，各自出现不同的能力跃升，护城河有限，并且都有强烈动力出售 API 访问权。
超指数级回路会改变市场结构。在普通指数增长下，以相同速度增长的竞争者会保持相对份额；在加速增长下，最先达到每个里程碑的参与者则可能把领先复利成不成比例的财富和权力。
领先者如果遥遥领先，就有动机隐藏系统、放弃季度收入，递归发展出足以与民族国家抗衡、或能“决定性地”塑造未来的智能。接近的竞争对手和缺乏耐心的投资者，则会迫使其商业化，压缩保密空间。
安全工作还要与两个更具吸引力的用途竞争：私人权力，以及消费者愿意付费购买的普通商品、服务和媒体内容。正如今天生物防御、网络防御或道德哲学获得的支出有限，市场需求不会自动把变革性产能配置到公共保护上。
25. 顺序性瓶颈让准备比原始算力更有价值
物理防御包含不可消除的日历时间：实验必须运行，工厂必须建造，对策必须生产。算力翻倍不一定能让任何一个周期缩短一半。
社会系统同样具有顺序性。AI 或许能找出一份对中美双方都有利且可执行的协议，但官员仍要会面、审议、作出决定并批准条款。
即便是理论研究，也无法完全并行。100个模型可以同时寻找一个洞见，但如果解决方案需要3个或4个相互依赖的概念跃迁，研究领域就必须先发现每个基础，才能推进下一步。
因此，紧要关头前最有价值的贡献是长周期资产：物理生物安全基础设施，以及围绕共同减速、重新分配算力或谈判条约等可能性的社会共识。想法需要数年才能进入政策制定者的“工具箱”。
26. 政府可能用马车监管快车
Cotra 尤其希望政府机构现在就采用 AI。随意增加的监管摩擦可能扩大差距，最终让受监管企业拥有“快车”，而监管者仍停留在“马车”（horses and buggies）时代。
防御组织不应等待通用模型。每个组织都需要一支团队反复追问：AI 在哪里已经真正有用，工作流应如何改变，哪些输出能够可靠验证。
她的建议激进但有条件：围绕组织的实际使用场景最大化采用，测量表现，并观察自动化首先在哪些地方变得可靠。熟悉当前限制是准备工作的一部分，而不只是生产率项目。
27. Cotra 的资助生涯始于紧急分诊
Cotra 于2016年加入 Open Philanthropy，但超过6年没有发出任何资助。FTX 崩溃改变了这一点：数百名原本获得承诺的受助者面临项目取消或资金追回，形成了需要紧急增援能力的危机。
大约6周内，她从一笔资助都没发过，做到发出约50笔。那段经历让她发现自己喜欢资助工作的一些部分，但快速分诊也限制了她通常追求的深度。
可解释性或对抗鲁棒性领域的技术提案，往往看起来合理，却没有完整的因果链条。Cotra 希望明确说明，一条研究路线如何产出某项能力或技术，这项技术如何嵌入防止接管的方案，以及成功具体意味着什么。
28. 内部视角资助催生了一项狭窄、昂贵且带有鲜明立场的押注
Open Philanthropy 过去的启发式方法——支持一名能力强、履历好且关心 AI 安全的研究者——是可以辩护的，但无法满足 Cotra。她希望理解得足够深入，能够持续、详细地回应更悲观和更乐观两边的批评者。
她暂时采用了杠铃策略：用传统启发式快速处理续期，同时发展少数经过深度论证的项目。主要的内部视角押注，成为现实的智能体基准，以及关于 AI 影响的非基准证据。
智能体基准 RFP 最终发放了约2,500万美元资助，另有200万—300万美元通过配套的 RCT 与调查项目发放。项目要求困难且真实的任务，并反复警告申请者，看起来很难的任务可能仍然“难度不够”。
Cotra 承认这存在机会成本：同样的时间本可以在10个领域支持更多容易取得的机会。她的辩护是，深度研究会改变细节，揭示研究者想法的更强版本，并让资助者和受助者共同创造更好的项目。
29. 倦怠暴露了没有机构思想伙伴的代价
Holden 离开后，Cotra 失去了一个会在具体问题层面讨论时间表、起飞速度和威胁模型的经理。剩余领导层的 AI 背景更少、带宽也更低，于是“这套策略对吗？”变成了“你想这么做也可以”。
在试图建立一个以理解为中心的项目时，Cotra 感到孤立，也发现自己并不是天生的企业家型管理者。招聘无法替代共同的中枢大脑，因为愿景仍然模糊，候选人必须先与之产生共鸣，而当时愿景还没有完全成形。
完美主义让管理成本高昂。作者很少能按她希望的方式捕捉想法，编辑常常比写作本身更耗时，把资助工作交出去也可能比自己做更慢——这正是她在上级指导减少之际遭遇的典型新经理困境。
她的4个月休假包括实际恢复、组建新的合租房、锻炼、参与 Curve conference、未发表写作和职业反思。她最终认为，自己更想为组织中枢提供建议和帮助，而不是经营一个孤立的内部创业项目。
30. EA 的吸引力来自无差别关怀、思想深度与激进诚信
Cotra 在13岁时进入有效利他主义（EA）的“兔子洞”。最初吸引她的是道德范围：帮助遥远的人、动物、未来世代以及可能具有意识的人工系统，而不是只优先关心身边或熟悉的人。
第二个吸引力是方法论上的严肃性：停下来研究、量化并比较干预措施，而它们的效果可能相差几个数量级。她的类比是，如果自己或配偶得了癌症，人们会多么深入地调查治疗方案。
第三个吸引力，是一种超出捐赠者要求的苛刻诚信。GiveWell 维护公开的错误页面，并拒绝捐款配捐，因为配捐通常是骗局，即便采用它可能筹到更多资金。
随着 EA 从说服分析型捐赠者转向部署资金、人才和政治影响力，激进开放开始在战略上付出代价。捐赠者寻求隐私，竞选活动不能披露策略，对手也开始从 Open Philanthropy 的出版物中寻找可以损害其声誉的材料。
31. Cotra 希望 EA 更像宗教，而不是更不像宗教
Cotra 认为 EA 比宗教更追求真相，但接受这一类比，因为它提供了一张“美好生活地图”、一个共同体、一套世界观，以及跨越个人行为、政治和历史位置的指导。
EA 在职业层面提供的东西，并不完全是她在情感上需要的。她所在的 EA 圈子把拥有高影响力工作和极度努力工作理想化；她则希望更有意识地思考道德，以及一个可能在10年或20年内走向乌托邦或反乌托邦的世界。
她想象中的“EA 教会”会每周召集严肃讨论，把日常文件和邮件重新连接到更大的利害关系。Rob 说，他个人喜欢更职业化、边界更清晰的版本，因为他想回家，不想一直思考工作；Nathan 则说，他希望以更具精神性的方式思考自己的工作。
她也认识到类似邪教的风险，以及为什么职业共同体应欢迎优秀的安全研究者，而不要求他们完成哲学皈依。不过，Joe Carlsmith 在坚定 EA 群体中的受欢迎程度表明，她并不是唯一想要这种滋养的人。
32. 更好的本地匹配，让同一份工作变得更轻
Cotra 原本计划在休假后开设 Substack，但承认这一选择部分出于愿望，而不是对其最高影响力的确信。Open Philanthropy 寻找新的全球灾难性风险负责人时，她选择留下，因为两名主要候选人看起来都很强。
与 Emily Olsen 合作后，她重新获得了想要的整合式角色：Emily 有一个更大的项目，需要 Cotra 的答案，并会把这些答案用于战略。Cotra 发现，自己工作的时间比休假前更多，但主观上却觉得工作没那么难。
录音时，她还在考察 Redwood Research，并在 METR 进行工作试做；交叉发布的导言称，她现在已在 METR 从事风险评估。两者都提供了更窄的使命——AI 控制或早期预警——以及深入工作的机会。
她最不光鲜、却可能最具普适性的结论是：“你具体向谁汇报，影响非常大。” 领导层变化应促使人们重新评估角色、节奏、合作者和匹配度，即便组织名义上的使命没有改变。
33. AI 时代的 EA 特色可能是别人避开的推测性研究
Cotra 认为，AI 安全不再要求完整的 EA 道德体系；失配和滥用会让拥有不同价值观的人都感到担忧。EA 仍然独特的地方，在于那些需要利他动机、非传统思维和承受哲学不确定性的领域。
数字意识是最清晰的例子：AI 系统是否会受苦、是否应获得保护、以及它们是否会与安全产生权衡，既不赚钱，也没有传统声望。EA 可以在这一领域获得制度认可前先行培育它。
价值锁定不一定需要独裁者。Nathan 想象的是“社交媒体 plus plus”：个性化、超级智能的信息茧房帮助每个人无限期地捍卫既有信念，权力仍然分散，但社会越来越无法反思或修正自己。
更广泛的比较优势，是介于讲故事和测量之间的“有信息支撑的推测”。Nathan 怀疑，一些转去做运营或政策的 EA，私下其实想成为“古怪的真相讲述者”；他们或许应回到研究领域，正因为其他地方对这类工作供给不足。