先锋 趋势 方法 投研 作者
你最大的杠杆:设计你的 AI 职业生涯,实现最大影响力——对话 80,000 Hours 创始人 Ben Todd
返回节目精读

你最大的杠杆:设计你的 AI 职业生涯,实现最大影响力——对话 80,000 Hours 创始人 Ben Todd

摘要

  • Todd 认为,职业选择是大多数人能掌控的、杠杆效应最高的资源配置决策。 “80,000小时”意味着每年约2,000个工作小时、持续40年,因此即使只让职业生涯小幅改善,其影响也超过所有“积少成多”式生活方式选择加总后的效果。Nathan Labenz 的实用测试是:为一份为期2年的工作多花2个月寻找,即便只能让薪酬提高10%,也值得。Todd 更广泛的主张是,应把这种优化用于增进社会福祉,因为职业是“你手里最大的杠杆”。
  • 不要围绕别人标记的 AGI 日期做规划,而要围绕你的贡献可能达到峰值的时点来规划。 Todd 的情景包括:1-4年内实现 AI 研发自动化,并可能在2028年前后出现具备广泛能力的自主 AI;2030年代初放缓自动化,随后出现由芯片驱动、耗时3-10年的智能爆炸;以及可能性较低的范式平台期。他给出的可执行时间跨度仍是5-10年:花1年让自己的生产率提高20%,大约4-5年就能收回成本,因此更短的时间线会降低、但不会消除再培训和探索的价值。
  • 优先级最高的风险组合是失去控制、权力集中和人为制造的疫情。 Todd 估计,全职从事失去控制风险研究的人只有1,000-2,000人,而有效推动 AI 能力进步的人数可能在100,000至1,000,000人之间;下行风险可能是不可逆的“人类彻底丧失权能”。超指数增长可能让一家公司凭借相当于一个国家的数字劳动力远远甩开其他公司,而 AI 驱动的监控和工程化病原体则可能创造前所未有的集中化或破坏性权力;生物威慑可能比制造“1,000枚核武器”更容易。
  • 人才瓶颈远不止顶尖模型研究员。 Todd 强调技术研究与工程、政府、传播和组织建设——包括管理、法律、会计、HR 和招聘——并建议在若干可能产生影响力的路径中按个人匹配度做选择。据称,Metaculus 大约有20个有用的评估项目,但工程产能只够完成2-3个,这说明市场需要能把安全概念转化为实际监控、红队测试和控制系统的工程师:说到底就是“把事情做成”。
  • 在前沿实验室工作是针对具体项目的权衡,不是普遍适用的影响力徽章。 实验室提供接触前沿系统的机会、强大团队,以及落实对齐工作的能力,但员工也可能加速制造风险的系统;Todd 警告说,声望、薪酬和接近前沿的便利,会让这个结论显得方便得令人起疑。他的组合答案是保留一些重视安全的内部人士、外部研究者和主张暂停的人,因为“所有选项看起来都各有各的糟糕之处”。
  • 即使短期立法看起来不太可能,政策准备也能创造期权价值。 Todd 倾向于在接近算法反馈回路时为战略暂停做准备——向中国提出“如果你们暂停,我们就暂停”的国际安排——同时推进算力追踪、快速关停能力、能力透明度、红线和应急预案。未来政府如果面对明显加速的 AI,行动可能完全不同,但如果底层监控基础设施尚不存在,可强制执行的措施就无法临时拼凑出来。
  • 相对于可信的执行能力,资金似乎已经充足。 Todd 说,捐赠者基础已扩展到 Coefficient Giving 之外,并提到 Anthropic 的创始人承诺捐出“我想是80%的股权吧”,这或许意味着最终可用于捐赠的资金达数百亿美元,但不会立即到位。创始人仍应比较从零开始创造某种东西,与让一个有效组织的效率提高5%之间的价值;有潜力的缺口包括为政府提供公正的 AI 顾问、自动化事实核查,以及为评论员和政治人物的预测记录打分的系统。
  • 被忽视的机会正转向数字心智、渐进式人类失权、太空治理,以及 AI 收益的公平分配。 Todd 认为,追求影响力的人应考虑“在已经被接受的范围之外再走1步”,同时抵制对乌托邦的虚假精确感:数字意识在哲学上可能仍无定论,地外复制可能带来巨大的先发优势,而即使 AI 已对齐,Todd 认为它也很可能让人类在经济上被竞争出局。他偏好的目标是“viatopia”——保存信息、辩论和选择空间,让文明日后仍能作出明智选择。

精读

1. 职业是一项80,000小时的资源配置决策

  • Todd 以一份典型职业生涯来解释组织名称:连续40年、每年2,000小时。由于对大多数成年人而言,职业约占其工作生涯的一半,他说,职业的分量超过其余所有事情加在一起,也是大多数人用来影响世界的最大杠杆。

  • 80,000 Hours 起步于牛津学生的一个问题:如何找到既有乐趣、经济上可持续、又对社会有用的工作。2010年的第一场分享只有24人到场,但最终约有6人彻底改变了自己的人生,并来讨论这些理念。

  • Nathan 的简洁决策规则进一步说明了这一点:如果下一份工作持续2年,那么即便只能带来10%的薪酬增幅,多花2个月寻找也合乎理性。人们常因担心看起来无所事事而仓促做决定,但这些选择的后果往往远大于审慎思考的成本。

  • Todd 对传统建议的反驳与问题的利害相称:“追随你的热情”之类的口号,以及关于成功人士的故事,都算不上严肃的决策支持。相反,这本书把职业选择视为值得研究、明确比较、试验和探索的事情。

2. AI 之所以早早进入议程,靠的是被忽视,而非确定性

  • 最初的筛选标准是寻找规模大、被忽视且可能解决的问题;如果某个问题会限制其他问题的解决能力,就再加上紧迫性这一条件。Todd 在牛津与 Nick Bostrom 的联系——后者的《Superintelligence》于2015年出版,但相关思想更早就已形成——让先进 AI 在缺乏大量实证之前就进入了该组织的视野。

  • 早期论点并不要求准确预测 LLM。不断增长的算力表明,达到人类水平的 AI 可能在几十年内出现;如果真的出现,利害关系将极其重大,而当时的主流态度却把对接管的担忧等同于 Andrew Ng 所说的“担心火星人口过剩”。

  • Todd 认为,2016年是更强的一次更新:AlphaGo 战胜 Lee Sedol 证明了深度学习的力量,OpenAI 的成立说明有实力的参与者正在押注这一范式,而沿着大趋势外推则意味着还会出现更多突破。“我们没有预测到 LLM 会好到当时那种程度”,但方向判断成立。

3. 不确定性下仍有3种时间线情景

  • Todd 的快速情景类似 AI 2027,以及 Anthropic 和 OpenAI 内部人士描述的计划:在约1-4年内实现 AI 研发自动化,触发算法反馈回路,并把大约5年的进展压缩到3个月至1年。更激进的版本会在2028年前后产生强大、通用的自主 AI。

  • 这条路径会带来一种不同寻常的部署顺序:强大的数字智能在大多数工作被自动化、机器人技术成熟之前到来,随后进入一个“疯狂的部署过程”。

  • 在中等情景下,随着晶圆厂产能和算力扩张受到约束,AI 研发自动化推迟到2030年代初。Todd 说,即使没有算法反馈回路,也可能通过建造更多芯片引发智能爆炸——过程或许需要3-10年,而不是6个月,并在2030年代后期达到极其强大的系统。

  • Nathan 说不出一个足以造成长期平台期的“墙”,并表示经济影响的到来晚于预期。Todd 说,自己可能反而略微高估了模型达到当前水平所需的时间。如果在算力扩张放缓、持续到约2032年之后,AI 研发仍未自动化,他认为算力可能就是这堵墙;据称,即便是 AI 2027 的80%区间也横跨2027-2050年,而 Daniel Kokotajlo 认为超过2050年的概率为10%。

4. 峰值影响力的时点比 AGI 到来的时点更重要

  • Todd 的职业框架会比较每个选项的即时影响力、职业资本、个人匹配度(包括工作满意度和个人目标)以及探索价值。职业资本包括技能、人脉、资历和品格;探索则关注一份工作会让你了解哪些未来岗位最适合自己。

  • 更短的时间跨度会降低探索和长期技能积累的权重,但真正相关的截止时间并不是 AGI。真正的问题是:“哪些年份的影响力最大?”机会的峰值可能出现在 AGI 之前或之后不久;在起飞速度较慢的情景下,其重要性甚至可能再持续10-15年。

  • Ajeya Cotra 用婚姻思想实验把各种颠覆性情景平均为一段预期持续10年的婚姻;Todd 据此将职业时间跨度换算为至少5-10年。花1年时间让自己的生产率提高20%,大约4-5年即可收回这笔时间成本,因此仍有空间进行机器学习再培训,或完成一次为期1年的政策转型。

5. 当前问题排序中有3类风险占主导

  • 失去控制之所以排在首位,是因为达到人类水平或超越人类的自主 AI 可能让人类不可逆地丧失权能。尽管这一领域已经不像过去那样被忽视,Todd 估计,全职从事失控风险研究的人只有1,000-2,000人,而实际推动 AI 能力进步的人数则在100,000至1,000,000人之间。

  • 权力集中之所以位居前列,是因为超指数增长可能扩大、而不只是维持第一名与第二名之间的领先差距。一家公司或许能获得一支相当于整个国家的数字劳动力,由此拥有历史上任何公司都未曾拥有的权力。

  • 监控则增添了另一种权力集中的机制。Todd 提到美国战争部围绕使用 Claude “监视每一个美国人”的争议:AI 能以过去人类工作人员不可能达到的规模分析公共数据,而治理体系仍未厘清,是否应允许1名 CEO 指挥一个强大得多的系统。

  • 即使没有 AI,人为设计的疫情也可能成为现实,但 AI 可能会把时间表提前。Todd 设想,朝鲜可能利用病毒实现“相互确保毁灭”——这种能力比制造“1,000枚核武器”更容易获得——而随后的实验室泄漏很可能会让预防、检测和响应系统成为必需。

6. 巨大的上行空间让避免不可逆失败更有价值

  • Nathan 追问:既然成功的 AI 可能带来富足,为什么议程却强调下行风险?他自己认为被忽视的事业方向,是为 AGI 之后值得过的生活提出具体愿景;在他看来,只要避免失去控制、权力集中和灾难,人类就能保留非凡的上行空间。

  • Todd 区分了加速更好的未来与确保未来确实到来:把繁荣提前1年,只会多出1个繁荣年;但避免灭绝则能保住余下的整个未来。他打趣说,Beth Bezos 关于加速的论证读完了《Astronomical Waste》的前半部分,却在结论之前停下了。

  • 机会成本论进一步强化了道德论证:AI 开发已经极快、人员也极多,边际加速带来的变化小于降低一种可能抹去全部上行空间、却仍被忽视的风险。关键对比大致是约1,000,000名推动 AI 能力进步的人,对上只有几千名专注于灾难性下行风险的人。

  • Nathan 认为,对灭绝和企业权力集中的警告,像是前沿公司在执行一种古怪的营销策略。Todd 否定了这种犬儒式解读:更简单的解释是,内部人士相信 AI 既具有变革性又充满风险,而不是在打一记“双重打板球”(double bank shot),借此显得重要并筹集资本。

7. 影响力岗位覆盖研究、政策、传播和运营

  • Todd 简化后的匹配流程是:先找出几条有可能产生影响力的路径,再判断个人匹配度在哪条路径上最高。重点不是违背自身禀赋地改造自己,而是比较大约5个可信选项,选择最有可能让自己发挥出非凡效能的一条。

  • 技术安全越来越像工程,而不只是概念研究:用一个 AI 监控另一个 AI,做红队测试,识别欺骗,并落地控制系统。据称,Metaculus 大约有20个有价值的评估项目,但工程产能只够完成2-3个。

  • 政府需要连接 AI 技术与政策的人才;传播领域需要提升仍然偏低的公众理解;每个组织也都需要管理、招聘、法律、会计和 HR。Todd 所说的第四大类很宽泛,就是组织建设和“把事情做成”。

  • Nathan 以历史学家 Mark Humphries 为例,说明非典型领域也能反哺前沿:AI 帮助解读被忽视的加拿大档案,而 Gemini 3 则释放了早期模型所不具备的视觉文档推理能力。他从 Meter 得出的更广泛观察是,随着模型能力超过评估者延长任务跨度的能力,现有测量正在饱和。

8. 前沿实验室的工作同时带来杠杆和加速效应

  • Todd 对在实验室工作的最佳论据很具体:前沿公司拥有强大的对齐和控制团队,提供接触相关系统的机会,并能把研究发现落实到产品中。如果没有人把安全措施贯穿到运营细节,一篇论文的作用就会小得多。

  • 实验室之外的工作同样可能重要。Redwood Research 帮助率先推动了 AI 控制议程,并与 Anthropic 开展欺骗性对齐研究,说明在前沿实验室任职并不是做出有用技术贡献的前提。

  • 根本分歧取决于各自的世界观:认为存在性灾难概率高、对对齐几乎不抱希望的人,倾向于无限期暂停;认为开发无法停止、且人类大概可以挺过来的人,则更倾向于在实验室内部改进安全性。

  • Nathan 保留了内部派的两条论据:关键时刻或许只需要“内部的10个人”采取行动;涌现的有害行为可能只有接触前沿系统才能发现。Todd 同意,对齐工作可能确实需要这种访问权限,但刚起步的可解释性研究仍可能在 GPT-OSS 或中国开源模型上取得实质进展。

9. 动机和文化也是反事实分析的一部分

  • Todd 警告说,如果“最有影响力的工作”恰好同时具备知名、增长迅速、声望高、薪酬优厚等特征,就应当反躬自省。可信的申请者应该说清楚具体的安全策略,以及为什么必须在该公司内部执行,而不能基于外部可获得的模型开展。

  • 评估公司应像评估政治行动者一样:考察激励机制、艰难决策、未兑现或兑现的承诺,以及熟悉领导者的人所提供的证词。自我评估时,Todd 建议结交愿意挑战你的人,并记住:“你会变得越来越像与你共事的人。” Nathan 还补充了书面预承诺和明确的重新评估节点,避免标准逐渐滑坡。

  • “10个人”策略在逻辑上存在边际回报递减,但心理上很脆弱。大多数人无法长期反对雇主的使命;Todd 指出,OpenAI 中高度重视安全的员工往往在几年内离开,但如果任何一家领先实验室内部都没有重视安全的人,他仍觉得“相当可怕”。

  • Nathan 提出 RLHF 这一典型担忧:安全工作可能让模型更安全、更有用,从而加速采用。Todd 的答案是做组合配置——维持安全生态,支持在算法反馈回路临近时实施国际性或为期1年的战略暂停,并为无论如何都会继续开发的情景做好准备。

10. 政策基础设施必须在危机窗口打开前就位

  • 在现任政府下,战略暂停看起来不太可能;但 Todd 预计,如果公众更加恐慌、明显的算法反馈回路近在眼前,或新政府上台,政治环境会不同。中国必须被纳入:“如果你们暂停,我们就暂停”;中国目前的落后也给了它接受这一安排的额外动力。

  • 执法需要提前建立算力追踪机制,让政府知道大规模训练任务在哪里进行。Todd 还希望具备基础的关停能力:如果一个自主系统开始在数据中心之间复制,今天还没有简单办法迅速关闭大量算力。

  • 透明度、红线和应急预案是冲突较小的措施。一家公司当前可能引发智能爆炸,却隐瞒数月;如果预先约定危险行为触发条件,就能在这种隐瞒成为决定性因素之前启动调查并执行预设响应。

  • Todd 认为,政策设计、细节落地、政治意愿和公众理解各方面都存在缺口。据称,华盛顿只有极少数相关人士甚至理解 METR 的任务时间跨度图;与此同时,零散的反 AI 情绪把矛头指向数据中心,但数据中心可能只是迁往 UAE 等地,并不会减少前沿开发。

11. 生物安全提供了异常具体的工程项目

  • 与存在争议的对齐干预相比,疫情防御的因果链路更清晰。AI 可以改善疾病监测,并帮助监控基因合成供应商,而红队则测试其筛查系统能否拦截危险病毒 DNA 片段的订单。

  • 废水监测可以把所有观测到的 DNA 合成并检测,然后标记任何呈指数增长的对象——这是不需要事先知道病原体的疫情信号。这样就有可能比传统临床报告更早发现一场全新的疫情暴发。

  • 如果一种病原体杀死10%甚至80%的感染者,响应基础设施就很重要:不同于 COVID——它对年轻人其实并没有那么危险——维持社会运转的必要工作人员可能会停止为超市补货。Todd 提议研发更便宜、更舒适的 PPE,并建立10亿美元级别的库存;相对于维持社会正常运转,这是一笔小成本。

  • 正压住宅、过滤进入室内的空气、UV 灭菌和快速疫苗平台构成其余防线;普通感冒减少也会是一个有益的副作用。Todd 想招聘的是创业型建设者:有创业精神、能把困难的工程要求转化为已部署系统的人。

12. 资本充足,但目标不是组织创新本身

  • Todd 说,可信的 AI 风险组织可以筹集大量资金,捐赠者基础已经扩展到 Coefficient Giving 之外。Anthropic 的创始人承诺捐出“我想是80%的股权吧”,这或许意味着最终可用于捐赠的资金达数百亿美元,但不会立即到位。

  • 创始人往往更喜欢说“原本什么都没有,现在我做出了这个东西”,但让一个高影响力组织的效率提高5%,可能比新建一个组织更有价值。缺口仍然存在的地方,创办组织依然有价值;但这很难,也可能不适合大多数人。

  • 自上而下地创办组织,可能比在竞争激烈的营利市场中更适合非营利领域:有动力的运营者可以找出已有资金支持、但仍存在缺口的公益项目,再有意将其补上。Catalyze Impact 汇总项目需求清单;提到的转型路径还包括政策研究员项目,以及面向职业中期转型者的项目。

13. AI 杠杆让援助从效率转向分配

  • Todd 预计,管理一组真正执行工作的 AI 智能体将成为高度可迁移的技能。大多数领域距离前沿仍很远,因此有人仍可通过应用更好的工具改善全球减贫项目,并随着模型进步获得越来越大的杠杆。

  • 有一类创业方向能让工具与风险同步演进:AI 辅助的求真体系。Todd 建议做自动事实核查、公开评分政治人物和评论员的预测记录,以及服务公共决策者的公正 AI 顾问,而不是由那些正应被官员监管的公司提供。

  • 认真对待 AGI 会改变全球减贫的优先级。Todd 提到,模型可能把 GDP 推至今天的100倍甚至1,000倍,世界级服务将被商品化,而机器人的成本可能约为1美元/小时,相比之下人力成本为10-20美元/小时;更高杠杆的问题就变成谁能分享这笔红利。

  • 他提出的“宏大交易”是:主要国家停止围绕 AI 的竞赛和争斗,换取共享收益。这样既能降低地缘政治风险,也能防止较贫穷国家被排除在外;在他看来,这比利用 AI 把防疟蚊帐的分发效率再提高10%更有杠杆。

14. 被忽视的前沿是数字心智、太空与人的能动性

  • Todd 的被忽视性逻辑本身令人不适:一个事业方向一旦吸引了人们,下一名边际工作者就应考虑转向“在已经被接受的范围之外再走1步”。数字心智符合这一标准,因为类人 AI 可能在心灵哲学给出任何共识答案之前,就引发一场庞大的权利争论。

  • 只有在技术按常规速度进步时,太空治理才显得遥远。能够自我复制的 AI 探测器无需人类前往,就可能抢占恒星,围绕几乎所有可获得的物质和能量展开一场“圈地”;某个研究机构可以建模评估率先抵达是否会带来近乎永久的工业优势。

  • 即使 AI 已对齐、权力集中也被避免,渐进式失权仍可能发生:人类可能只是被竞争出局,直到经济体系变得对人类不友好。除了向已对齐的 AI 寻求建议,现有的预防策略几乎没有;Todd 认为,以《The Culture》系列作为文明的主要正面蓝图仍然不够。

  • Nathan 提议把乌托邦小说同时当作想象力来源和潜在训练数据,并想知道,向互联网大量注入正面范例是否能影响 AI 的价值观。Todd 回应说,历史上的乌托邦后来常常显得像反乌托邦。他更偏好 Will MacAskill 的“viatopia”:避免不可逆的灾难和威权锁定,保存信息与辩论,然后——就像迷路时先找到水源和高地——用更充分的知识选择目的地。