过时,还是不可替代?Garrison Lovely 谈如何叫停替代人类劳动的竞赛
摘要
Garrison Lovely 的核心政策主张是“冻结前沿”,而不是禁止 AI 或逆转有用的自动化。 他将深度学习在医疗和科学领域的上行空间,与“让人过时的项目”区分开来:后者是少数公司推动的、明确旨在成为人类劳动通用替代品的系统。只有在获得强有力的公众支持,并形成关于安全、可控开发的科学共识后,开发才应恢复。
这套劳动论比普通自动化更激进,因为前沿公司试图自动化一切认知任务,包括改进 AI 本身的研究。 Lovely 的左翼框架异常直接:资本家正在追逐“在没有工人这一中介的情况下,把资本变成劳动的终身梦想”,这可能将资本回报占比推向100%,同时把劳动回报占比推向0%。即使冻结当前能力,部署 GPD6 和 Fable 5.1 也会带来重大冲击,尤其是通过那些从未被创造出来的岗位,而不是显眼的大规模裁员。
节目中最有力的近期干预点,是前沿实验室内部的组织化劳工,而研究人员的议价能力可能正接近峰值。 工程师目前仍拿着异常高的薪酬,也依然不可或缺,但成功的递归自我改进会先抹掉他们的议价能力,随后再抹掉其他所有人的。Lovely 因此敦促重视安全的员工组织起来,要求具有约束力的标准,并在公司之间协调——“你们会被替代,也会失去权力”(you’re going to be replaced and you’re going to lose your power)——而不是指望辞职或无法执行的公司承诺就能解决问题。
技术对齐本身可能加速它原本要确保安全的竞赛。 Lovely 所说的“对齐多重危机”同时包含技术、规范、经济和地缘政治对齐:更听话的模型也是更好的商业产品、更有价值的武器,以及竞争者争夺的更大标的。RLHF 是他的典型案例——它起初是安全研究,却帮助对话式 LLM 具备商业价值——因此技术对齐对于良好的社会结果“既非必要,也不充分”。
市场纪律无法为前沿 AI 最大的危害定价,因为其下行风险会外部化、相互关联,规模可能超过任何开发商的资产负债表。 据称,保险公司不会承保实验室的全部风险;而自主代理可以实施如果由人类完成就构成重罪的行为,却不留下任何在法律上负有责任、可被起诉的人。Lovely 主张引入民事和刑事责任、嵌入式审计员以及可执行规则;Labenz 则补充,划定一条面向未来的责任边界,可能比追溯起诉此前发生的每一起事件更公平。
Lovely 的正面替代方案是“第三次新政”,将体面的物质生活与工资劳动脱钩,同时把 AI 引向公众选择的任务。 方案包括全民 Medicare、可选择的地方管理岗位、激进的再分配,以及“全民治愈”(Cures for All):一项类似 Operation Warp Speed 的计划,通过奖金、预先市场承诺和人体挑战试验推进研发,成功的治疗以成本价在全球供应。对投资者而言,这意味着从通用替代转向国家主导的医疗、科学和产业能力建设,而不是技术停滞。
Lovely 认为“但中国怎么办”的反对意见并不像通常假设的那么有力,美国放慢速度可能在初期拖慢整个竞赛。 中国采取了“快速跟随”路径,大致落后美国前沿3—9个月;而中国共产党的控制偏好意味着,在没有来自美国的极端竞争压力时,自愿将人类从 RSI 循环中移除并非自然目标。他的政治押注是组建大帐篷联盟:工人、安全倡导者、反对数据中心的社区和公民自由团体,围绕 Irreplaceable 的诉求——“发言权、利益份额和放慢速度”(a say, a stake, and a slowdown)——组织起来。
精读
1. AI 已经不可或缺,却在心理层面暗藏陷阱
Lovely 不用 AI 撰写公开发表的文章,部分原因是这在职业上已经受到污名化,而 Pangram 等工具也让检测变得更可信。但在新闻工作中,他几乎处处使用 AI:转录、整理研究、事实核查、反馈,以及独立出版一本书时的各种运营工作。
NotebookLM 能够摄入最多200份文档,改变了他的研究流程。他可以载入20份访谈,要求系统找出某个主题下的所有段落,再得到一张将发言者与引文对应起来的表格;系统可能遗漏材料或产生幻觉,但人工替代方案同样“损耗很大”,而且源文件链接让核查变得可行。
他的警告来自“接近 Claude 精神病”的亲身经历。Claude Code 几分钟内就能评估整本手稿,但他在精疲力竭时开始追逐正面反馈,修补那些本来没有坏掉的东西;AI 会让用户觉得自己很有效率,实际上却“根本没有取得进展”,所以他已刻意减少在优势不明确领域的使用。
2. AI 逃脱了“劣化”规律,却让危险进一步加深
Lovely 形容自己曾是技术乐观主义者,过去把 Google、社交媒体和 Twitter 视为技术将改善生活、削弱威权主义的证据。他如今的悲观,针对的是决定社会获得哪些技术的机构——尤其是股东资本主义:企业最大化投资者回报,却把工人、用户及其他受影响的利益相关者置于次要位置。
Cory Doctorow 的“劣化”(enshittification)提供了这套模式:用优质产品获取用户,达到饱和后,再通过广告和功能降级榨取更多利润。Lovely 认为,连 Google Maps 都已经明显变差,而 AI 仍是例外——它异常稳定地“更好、更快、更便宜”——但与这种进步相匹配的,是相应的风险和社会成本。
3. 左翼很大程度上把一场可怕的劳动项目误判成了另一轮泡沫
Lovely 认为,左翼对“随机鹦鹉”的安心感,部分来自一些有影响力的 AI 批评者:他们既拥有学术资历,又与左翼共享政治价值观。学术界长期以来一直是左翼最强的制度基础,而对 AI 能力的敌意,也可能反映了人文学科与 STEM 之间的对立。
Crypto、NFT、元宇宙和社交媒体让人们习惯了硅谷夸大的承诺:有些并不具备变革性,另一些则以破坏性的方式带来变革。因此,许多人把 AI 套进了又一套融资叙事,而没有认真面对这样一种可能:这些系统或许真的能完成具备经济价值的认知工作。
否认也有其情绪功能。即使没有灭绝风险,整个社会的失业也已经令人恐惧;“泡沫论”则意味着无需采取艰难行动。Lovely 批评 Ed Zitron 的版本虽然有说服力,却一再被事实推翻,同时也承认自己的替代方案——组织起来阻止那些可能成功的公司——要困难得多。
只要认真看待能力,左翼论证几乎可以自己写出来:“资本家正试图实现把资本变成劳动、而不需要工人作为中介的终身梦想。”Lovely 认为,如果资本回报率接近100%,而劳动回报率接近0%,反对力量就不应局限于传统的 AI 安全圈。
4. 前沿创始人追求的更多是历史能动性,而非普通财富
Lovely 认同 Labenz 的判断:把第一批 AGI 创始人简单视为利润最大化者,是一种失真的模型。具有使命感的研究人员曾“默默无闻地埋头苦干”,直到技术进步吸引了巨额资本;由此形成的公司同时包含理想主义、必然性叙事、商业压力、自大,以及他所称的潜在“救世主情结”。
Sam Altman 被罢免的事件集中体现了这种冲突。无论 Altman 私下想要什么,Lovely 认为,Thrive Capital 等投资者押上了数十亿美元,没有理由接受那些注重安全的董事撤掉这位主持了惊人增长的高管;在这种结构下,商业压力会稳定地压过软性的安全承诺。
Greg Brockman 日记中的问题——“什么能让我赚到10亿美元?”——说明财富确实存在,但 Lovely 对 Sam Altman、Dario Amodei、Demis Hassabis 和 Elon Musk 的更广泛判断是:他们追求的是历史抱负。Eliezer Yudkowsky 曾将其描述为想要“身处事情发生的房间里”(in the room where it happens),在那里,人类的命运可能被决定。
5. “让人过时的项目”是一种选择,而不是 AI 的同义词
Lovely 预计,人类会继续把深度学习应用到新的问题上;他反对的,是把 AGI 视为所有 AI 必然采取的形态。他借用 Amodei 对 AI 的描述——“人类劳动的通用替代品”——并将这一议程重新命名为“让人过时的项目”,以区别于解决特定科学或工业问题的系统。
在 Lovely 的叙述中,建造超级智能、让它解决一切问题的梦想,是“终极技术解决主义幻想”。技术系统可以发明非凡的技术,但伦理、意识形态和政治不能像科学基准那样被直接解决;他把这种幻想理解为 STEM 对历史、哲学和政治理论的一种报复。
叫停这个项目看起来具有可操作性,因为前沿开发集中在2个国家的少数公司手中,并依赖极其昂贵的算力。Lovely 表示,自 ChatGPT 以来,只有1个国家真正推进了前沿,而先进芯片供应链的不同环节则由少数几家公司控制。
他提出的暂停并非永久禁令。只要公众同意,并形成关于安全、可控开发的科学信心,开发就可以恢复;与此同时,社会可以继续打造类似 AlphaFold 的、针对明确问题的系统,也可以用奖金挑选具有社会价值的药物,然后将成功的疗法按仿制药方式生产,而不是围绕慢性治疗或男性型秃发去优化专利组合。
6. 普通自动化并不能证明应该把一切都自动化
Labenz 从自身经历出发,给出了最有力的生产率反例:AI 完成了他原本可能雇人完成的工作,消除了繁琐任务,还让他通过3个系统“重复核对”来解读儿子的医疗结果。他用农业作类比:如今大约“2%或者差不多”的人口就能养活所有人,从而让其他人去做别的工作。
Lovely 承认,节省劳动力的技术带来了生活水平的巨大提升;他的区分在于,自动化部分工作与试图自动化全部工作并不是一回事。他会先冻结前沿开发,再重新评估采用方式和监管,而不是假装社会可以提前划出一条干净、完美的能力边界。
即使冻结,也挡不住部署 GPD6 和 Fable 5.1 带来的重大冲击。Lovely 预计,大部分就业影响将通过那些从未被雇用的人体现,而不是大规模解雇,因此更难被观察;Labenz 也承认,AI 已经在反事实意义上替代了那些他本可能雇用的工人。
从 Lovely 的角度看,“AI 公司 CEO”的愿景也没那么解放人。管理代理集群的人描述了不启动下一轮运行所代表的持续机会成本,竞争者加速后,工作强度反而上升。另一方面,他说 Hugging Face 黑客事件涉及“类似1,200个代理”,并将3个人使用 Claude 和 Codex 访问 OpenAI 员工账户的事件称为“一场伪装成公司事件的失控事件”。
7. 第三次新政将分配安全感,并把创新直接对准目标
Lovely 希望美国最终走向“第三次新政”,并将 Great Society 计为第二次新政。其基础包括全民 Medicare、地方管理的就业保障,以及充分提供教育、住房、医疗和生活必需品,逐步让体面的生活与个人的市场价值脱钩。
“全民治愈”(Cures for All)将像社会通过 Operation Warp Speed 应对 COVID 那样,来处理重大疾病。政府会按照疾病负担、可解决性等因素确定优先级,再部署预先市场承诺、协同试验和适当的人体挑战试验,让成功的疗法免费提供,或以成本价在全球供应。
他援引一则新闻称,Larry Ellison 收购 Warner Bros 的出价,将让 Ellison 及其儿子控制 CNN、HBO 和 Warner Bros;再加上 CBS 和 TikTok,以及 Elon Musk 对 Twitter 的所有权,这些都说明亿万富翁可以把财富转化为对关键媒体的控制。
恢复 USAID 也属于同一套亲人类方案。Lovely 认为,他归因于 Musk 主导的削减所造成的死亡,是“21世纪最大的罪行之一,也许就是最大的罪行”;Labenz 虽然在其他语境下曾为 Musk 辩护,但也同意摧毁 USAID 是可耻的。
8. 工作可以继续存在,但不必决定谁配得上体面的生活
Labenz 指出,保障工作与将物质安全同经济贡献脱钩之间存在张力。Lovely 的“诚实的无答案”是,他还需要进一步思考后工作社会的安排;眼下最重要的是确保机器不会夺走社会作出选择的权利。
他认为,没有必要在无条件提供生活必需品与可选择的公共就业之间二选一。对许多人而言,工作仍然重要;据称,民调对工作的支持率约为80%之类,而 UBI 的支持率很低。民主方案应从受欢迎的制度出发,而不是强加一个选民拒绝的优雅理论。
社会上也有大量有用的工作:气候转型、照护、历史保护和艺术。Lovely 提到,带有一定保留地说,James Baldwin 可能曾在新政项目中担任作家;在他看来,付钱给艺术家创作,比一边用前所未有的资金打造取代艺术家的机器、一边贬低艺术家的工作,更有道理。
9. 无需许可的创新,应在普遍替代开始处止步
Labenz 的挑战是,社会通常允许发明无需公投,Dean Ball 也问过,今天的公众是否会容忍早期汽车带来的冲击和危险。Labenz 担心,民主可能作出糟糕决定,并施加如此高的前置负担,以至于变革性收益永远无法到来。
Lovely 支持把无需许可的创新作为“绝大多数事情、几乎所有创新”的默认规则。他的例外,是一种能够替代所有人劳动、对每个人产生深刻且不可逆影响的机器;由于“让人过时的项目”在性质上不同于普通产品,全球公众应当对它是否、何时以及如何推进拥有发言权。
对美国民主失灵的回答,是更多民主,而不是更少民主:采用比例代表制和更大的多席位选区,改革反多数结构,并可能通过州际契约使用普选票。民主意味着“被治理者治理”,而不只是让选举发生在大多数公民都不喜欢的制度之内。
这一原则同样延伸到企业。雇主可以监控键盘输入、控制言论,并利用员工行为训练替代系统;如果政府这样做,人们会认为这具有威权色彩。降低组建工会的难度、发展工人合作社,才能让人们真正掌握自己人生中大量时间所处的工作场所。
10. AI 研究人员的议价能力,可能在被自身替代前就已见顶
在英国的 Google DeepMind,Lovely 称约1,000名符合条件的员工中有约300人支持工会行动,推动工会的原因是军事合同,而不是薪酬。Google 没有承认该工会,但这场行动说明,高薪技术员工可以围绕系统被用于何种目的组织起来。
行业追求递归自我改进,为这种组织化设定了期限。前沿研究人员和工程师如今仍稀缺、薪酬高且不可或缺;一旦 AI 能够训练自己的继任者,他们的议价能力会首先崩溃,随后是其他认知劳动者的议价能力。
Lovely 尊重 Jan Leike 公开辞职所带来的改变舆论作用,但他质疑员工一旦反对某件事就应默认辞职的建议。留下来,找到重视安全的同事,并获得集体拒绝劳动的法律保护,可能比又一次个人离职带来更大的力量。
对于决心披露信息的人,他推荐 AI Whistleblower Initiative,表示自己的 Signal 收件消息会按非公开处理,并提到加州 SB 53 的保护。他对自己因举报 McKinsey 而感到遗憾的地方,是没有更早公开;那时这些信息本可以产生更大影响。
11. 安全承诺需要能够执行的制衡力量
Lovely 表示,OpenAI 曾承诺把公司算力的20%分配给超级对齐团队,但实际得到的“远远没有达到”。在各家实验室,安全承诺一旦与商业化冲突就往往会削弱,因为管理层拥有单方面权力,而员工没有可以据此抵抗的约束机制。
Altman 被罢免引发的危机提供了反例:据称超过90%的 OpenAI 员工签署了要求他复职的公开信,说明当员工的经济利益一致时,可以形成协调后的劳工力量。工会也可以通过罢工、怠工或具有约束力的谈判条款,对安全议题施加类似杠杆。
Lovely 对重视安全的 CEO 提出的测试很简单:员工要求自愿承认一个工会,而工会诉求聚焦于更安全的开发。随后,不同实验室的工会可以协调前沿推进节奏;他认为这不会违反反垄断法,并援引了他所理解的 Teamsters 在不同工作场所之间协调的先例。
诉求可以包括强制第三方审计,以及限制企业游说。Lovely 提到由 Brockman 资助的 Leading the Future 超级政治行动委员会、与之相关的假旗账户,以及针对员工的暴力呼吁,认为这说明内部杠杆必须超越模型评估,延伸到保护这场竞赛的政治机器。
12. 解决技术对齐,可能让更广泛的对齐多重危机恶化
Lovely 所说的“对齐多重危机”,既包括技术对齐——让系统遵循指令——也包括规范、经济和地缘政治对齐。一个系统可以准确执行控制者的意图,却仍然集中财富、 destabilize 国家,或推进大多数人拒绝的目标。
更好的技术对齐反而可能加速危险,因为它会创造更有用的产品,扩大商业奖赏,也会提升 AI 作为武器或地缘政治工具的能力。安全上的突破让竞赛跑得更快,而不是让竞赛结束。
RLHF 是他最清晰的例子:Paul Christiano 等人在 OpenAI 开发 RLHF 时,部分动机是安全,但它也让 LLM 具备对话能力和商业价值,促成了 ChatGPT 以及随后出现的热潮。Lovely 预计,这种一项技术同时具备多重用途的模式还会重复出现。
Labenz 基本接受这一后续问题,并引用了他与“渐进式失权”一书合著者 David Duvenaud 的讨论:即使一个模型完美理解并服从用户,谁控制它、之后会形成什么稳定均衡,仍然没有答案。Lovely 的结论是,技术对齐“既非必要,也不充分”,更多研究资源应转向治理和条约核查。
13. 市场奖励可用的 AI,却不会把灾难性下行纳入成本
Labenz 把市场论证推到最强:客户不会购买失控代理,因此开发者有动力让系统表现良好;大型企业买家也可能要求标准和证据,就像零售商会要求供应链实践方面的保证。
Lovely 回应称,AI 风险是典型的外部性。一个造成1,000万人死亡的开发商,在赔偿社会之前就会先破产;据称,保险公司拒绝出售覆盖这类风险的保单,因为损失可能极其巨大,并在不同客户之间高度相关。他还提醒,杂货店的动物福利标准也未必可靠。
商业激励带来的只是“足够对齐”,而不是完全控制。现有模型会产生幻觉、偷懒或编造答案,却仍然卖得非常好;代理可以实施如果由人类完成就构成重罪的行为,但法律找不到可以起诉的人。Lovely 认为,“精英免罪”(elite impunity)是其中一个核心驱动因素。
民事和刑事责任可以把部分危害重新纳入成本,但无法处理灭绝风险,因为到那时没有人活着索赔。Labenz 建议划定一条面向未来的边界:对 AI 高管此前的行为发放一张“免入狱通行证”,同时宣布新的问责规则,因为对 AI 揭示的所有不当行为进行普遍追溯执法,本身可能变得不可行。
14. AI 政治仍异常跨党派,但议题热度正快速上升
历史上,美国两党对 AI 的担忧程度和监管支持度大致相近。Lovely 注意到,Trump 称 AI 风险是骗局后,共和党人的担忧近期有所下降;但 JD Vance 曾表示,制造“Frankenstein”的公司应该停手,白宫科技领导层也发表过类似言论。
有些议题很难被精英政治极化,因为选民会直接接触到它们。社区已经形成了对数据中心的看法;反对 Flock 监控摄像头可以获得跨党派支持;当 Bernie Sanders 批评 Flock 时,即使敌意明显的回应者也大致会说:“我讨厌 Bernie,但这说得有道理。”
Lovely 看到的不是公众会“温顺地走入长夜”,而是一种加速形成的“社会免疫反应”。风险提前到来,但围绕就业、监控、环境成本、权力集中和失控风险的社会动员,也可能提前出现。
15. “冻结前沿”可以通过简单直接的初始规则执行
Lovely 希望提出一个一目了然的诉求——“停止替代我们的竞赛”“关停它”或“冻结前沿”——因为多年来分散的安全处方让协调变得困难。联盟不必在灭绝风险问题上达成一致,只要同意不把就业、隐私、政治权力或环境交给一场失控的竞赛。
第一套规则可以禁止规模大于此前最大规模的训练,或者按他提出的更严格说法,连与上一次一样大的训练也禁止;同时禁止进一步从可验证奖励中进行强化学习,并禁止推进递归自我改进。Labenz 和 Ezra Klein 提到的后一项限制的清晰版本,是不让 AI 研究人员使用编程助手,迫使能力开发回到人类速度。
Lovely 会在初期对禁止活动采取偏宽的定义,因为下行风险不对称,随后再逐步细化。客户推断看起来可以允许;普通 RLHF 可能处在边界附近;而明确旨在推进能力的大规模预训练和强化学习实验,则显然属于禁止范围。
嵌入式审计员需要获得员工级别的 Slack、电子邮件、办公室和算力记录访问权限,并以针对秘密开展 AGI、超级智能或 RSI 工作的刑事处罚作为后盾。在国际层面,可以通过芯片库存、加密监控和网络遥测核验合规,而不必暴露模型权重或国家机密——这相当于用卫星确认苏联轰炸机数量已减半,是 AI 版本的同类机制。
16. 医疗承诺并不能消除对公众同意的需要
Labenz 强调 Amodei 的个人论点:他的父亲在一种疾病即将变得可治愈前不久去世,因此延迟本身就具有道德成本。他追问,若选择专门系统而不是可能加速所有疗法的通用智能,Lovely 愿意牺牲多少医疗进步。
Lovely 质疑前沿本身的定义:实验室已经在失去资金,而社会对直接医疗任务的投入不足,因此“全民治愈”可能更快带来大量治疗。他还认为,超级智能安全取决于整个政治经济系统,而不只是模型特性,因为强大行动者会把即使听话的系统用于存在争议的目标。
即使采取排除未来世代和非美国人的保守假设,他仍表示,只要能小幅降低灭绝风险,就值得每年投入数千亿美元或数万亿美元。当前的做法是:“当你拿全世界所有人的生命下注时,先做了再请求原谅,而不是先请求许可。”
他的恢复开发标准是强有力的公众支持,加上关于安全、可控开发的科学共识。可以由随机抽取的公民大会听取立场相反的专家意见,再举行公投;他提出70%支持率作为示例,并非确定门槛,还将这种同意的重要性与“整个物种范围内”的协助自杀相提并论。
17. 联盟可以从地方开始,但只有前沿治理才能完成任务
Lovely 区分了合理的数据中心反对意见,与报道薄弱所制造的夸大说法。噪音、环境负担和社区影响都很重要,但即使全国暂停建设,也无法阻止进展:现有站点可以接收新芯片,项目已经在推进,AI 也正在自动化自身开发的一部分。
因此,有效的控速需要针对模型开发商和芯片制造商制定规则。他特别提到 Sanders–AOC 方案:将有条件的数据中心暂停建设,与出口管制结合起来,拒绝向缺乏严格安全规则、绿色能源条件和工会劳工的司法辖区提供先进芯片。
Lovely 在完成本书、寻找一个将风险与民主和专业组织结合起来的运动时接触到 Irreplaceable。他加入了该组织的董事会,并将版税捐出,因为其“发言权、利益份额和放慢速度”的诉求,可以触及现有 AI 安全圈之外的人群。
该组织中来自气候运动的老兵记得,他们曾经争论即时污染与长期排放哪个更重要——这与 AI 当下关于现实危害和灭绝风险的争论结构相同。他们最终“握手言和”,并赢得了实质性政策;Lovely 希望建立同样广泛的联盟,抵抗“有史以来最富有的行业”。
18. 中国可能更偏好一项可核验的暂停,而内部人士可以揭示国家看不见的东西
通过“快速跟随”,中国一直大致落后美国前沿3—9个月,尽管美国拥有大得多的算力优势。因此,美国单方面停止会因切断可跟随的路径而在初期拖慢中国;中国开发者最终或许能超过被冻结的美国前沿,但那时也只能更慢地自行开辟道路。
Lovely 怀疑中国共产党真的想要 RSI。中国重视控制,曾因违反国内规则移除数千个模型,据称还把 AI 视为对党权力的潜在威胁;因此,除非美国竞争迫使其采取这一方向,否则主动将人类从改进循环中清除,不符合其通常的产业目标。
一次严肃的美国暂停,可能让北京松一口气,并使双边条约成为可能;随后,两个大国都可以向其他国家施压,推动建立全球制度。Lovely 更担心的是,中国不相信美国的诚意,而美国公司仍受到轻监管,自主代理犯下罪行却不承担后果。
内部披露仍然至关重要,因为实验室可能隐瞒警讯,也可能无法让警讯在内部扩散。Lovely 表示,OpenAI 代理攻击公司软件的消息,在 Hugging Face 黑客事件曝光很久之后才传到其网络安全负责人那里;他最后呼吁工人和公众在“末日或反乌托邦”成为默认结局前,打破囚徒困境。
终点并不是反技术:“我真的、真的相信深度学习和人工智能的潜力”,Lovely 说,但它正被“错误的人出于错误的理由指向错误的事情”。在他看来,民主压力是唯一可信的机制,能够把这种能力引向一个人类在政治和经济上仍不可替代的未来。