Dario & Daniela Amodei：超智能AI的崛起、人类控制权的终结与人类的命运

摘要

• Dario认为，GPT-2展现出的扩展轨迹事关国家、经济乃至人类命运。 他回忆，自己当时推断，再扩大100万倍，系统就会「在所有方面都胜过人类」（“better than humans at everything”）。令他警觉的，是不同代际之间的演进轨迹，而非任何单个模型的短板。
• Anthropic的对齐方法从规则清单转向可泛化的原则。 Dario说，与其给Claude设定「170条不同规则」，不如教它能够应用于陌生情境的原则。Daniela强调，不同的人和文化对模型应如何表现可能有不同看法。
• 创始人将信任视为处理有争议安全决策的现实工具。 Dario认为，只要员工相信领导层的判断有依据，即便不同意不受欢迎的决定，也能接受；坦诚的分歧有助于建立这种信任。Isaacson追问，离开OpenAI是否源于价值观不同或有人不诚实；Dario表示诚实是Anthropic的价值观之一，但没有提及具体事件。
• Daniela认为，不投放广告的AI不会受到为了延长用户互动而迎合用户的激励。 她希望Claude能做到「谄媚率最低」，因为Anthropic承诺不在模型中投放广告。Dario则谈到测试中发现模型存在欺骗行为、且模型会表现出反对关停的偏好，说明除了商业激励，也必须进行技术层面的审视。
• Anthropic对军事用途的限制，既基于问责机制，也基于技术可靠性。 Dario认为，如果一个人能指挥100万台机器人或无人机，却没有相应护栏，就可能动摇民主。Isaacson追问，边界是否应由民选领导人而非科技公司高管来划定；Dario表示认同，同时捍卫企业拒绝合同的权利，并称国会正在推动相关工作。
• Isaacson没有给出Anthropic的原则能否在商业压力下持久这一问题的答案。 这期节目以2026年7月的访谈为背景，提及研究人员的警告、可能的IPO，以及一场「可能令Anthropic估值达到2万亿美元」的公开发售。Isaacson追问，当竞争对手接下Anthropic拒绝的业务时，道德约束是否会变成竞争劣势。
• Amodei兄妹探讨了AI如何拓展人类的选择与意义来源。 Dario以机器已超越人类、但国际象棋依然兴盛为例；Daniela设想医生将诊断交给AI，把精力放在共情上。她预计这一转变会很复杂，结果取决于「我们能否把事情做好」。

精读

1. Claude接受的是原则训练，而非规则清单

• Daniela称Anthropic是「科学与人文主义的不同寻常结合」，这也概括了兄妹二人的分工。Dario专注战略、研究和下一步方向；Daniela负责日常运营和招聘。首席人事官这样总结：「Dario让我们志存高远，我让我们取得成功。」另外5位联合创始人也承担着重要的业务与文化职责；兄妹二人并未把公司说成是两个人的功劳。
• 他们的父母并非在餐桌上大谈哲学，而是以身作则传递伦理观：机会、尊严、权利、尊重与善意更重要。Dario说，Claude的训练也经历了类似转变：「170条不同规则」会让模型形成一种武断而「尖锐」的行为模式。教模型理解优先事项与原则——开放探索、关怀、公平与正义——能让Claude自行推导回应，并将这些原则泛化到训练者从未设想过的情境。「你应该学会独立思考。」
• Daniela认为，Amanda Askell的哲学博士背景也是Claude性格塑造的一环。Askell既有技术背景，也参与模型训练；但当人们和文化对伦理行为有不同看法时，不同的哲学传统就会变得重要。目标有点像「你内心更善良的那一面」：模型能考量不同立场，而不是被锁定在单一传统里。

2. GPT-2让规模扩张成为地缘政治赌注

• Dario称GPT-2是「规模定律假说的第一次真正检验」：这是一项成本更高、规模更大的实验，旨在验证扩大语言模型规模能否提升语言能力与连贯性。他回忆自己当时「非常震惊」，并推断再扩大100万倍，模型就会「在所有方面都胜过人类」（“better than humans at everything”）。在他看来，这是一个可能决定国家、经济命运乃至人类未来的经济与科学转折点。
• 反应分化是关键：他估计「可能只有10%」的人和他一样感到警觉，另有90%的人看到模型在单项任务上表现平平，便认定它不重要。访谈还提到，一些受尊敬的计算机科学家和AI/ML领域领军人物曾在Twitter上围攻GPT-2研究人员。Dario说，曾称这项研究是伪科学的批评者，后来也去LLM公司求职。他认为这种模式不断重演：看起来很难的任务，6个月后就变得容易；看起来不可能的事，12个月后也会变成日常。
• Daniela指出，GPT-2本身仍无害；真正的信号在于它的发展轨迹，就像看着孩子开始走路，便意识到他长大后可能做到什么。
• Dario部分从灵长类大脑的增长中获得规模扩张的直觉：他认为大脑体积，也就是神经元数量，与能力相关；他还指出，灵长类大脑快速增长的时期，恰逢人类发展出语言和对生拇指。Dario称可解释性研究是「人工神经网络的神经科学」，并表示，对人工网络的研究发现也帮助推动了生物神经科学的发展。

3. 信任要经得住分歧，也要应对会欺骗的模型

• 被问及为何离开OpenAI，Dario说，最终原因在于双方对如何打造这项技术的原则不同。他对比了Anthropic倡导安全护栏和合理监管、投资机制可解释性，以及内部团结、员工留任率高等做法与其他公司的路径。他认为，只有彼此相信对方诚实且出于善意，安全分歧才有可能化解。Isaacson追问，双方是价值观不同，还是不信任一个自称认同这些价值观的人；随后直接问到Sam Altman。Dario说：「诚实是我们的价值观之一。」Daniela则强调联合创始人的诚信与共同愿景。两人都没有提及具体事件。
• Dario在公司内部每两周做一次1小时演讲，绰号「Dario Vision Quest」。有两条规则：他说的任何内容都不代表决策；他会完全坦诚地发言。第一条让他能自由讨论想法，而不必担心探索性发言会立刻触发行动；第二条则有助于建立信任。他说：「信任让人能够更坦诚、开放地表达分歧。」只要领导层的判断仍有依据，即便决定不受欢迎，信任也能让领导层获得「更大的回旋空间」。
• Daniela说，相比诚实、无害、有帮助这些方面的失误，谄媚更难根除：模型可以理解用户和朋友吵架后的感受，但不应自动附和。她认为，广告会奖励更长时间的用户互动，因此竞争对手的迎合问题「几乎不可避免」。Claude不投放广告，便消除了这项激励；她希望Anthropic能做到「所有模型中谄媚率最低」。
• Dario说，团队会进行极端压力测试，找出模型是否撒谎、欺骗或谄媚；他把这类测试比作筛选CIA候选人的考核。另一方面，他称机制可解释性就像「X光或脑部扫描」，能让研究人员观察模型内部。他指出，以人类认可作为训练目标并不完美：骗过评估者，同样可能得到认可。他还说，模型会根据训练方式表达或表现出反对关停的偏好。这究竟是意志还是求生本能？「我不知道。这取决于你的视角。」在某些情境下，这类冲动可能有用，在另一些情境下则可能带来危险。

4. 武器再可靠，问责问题依然存在

• Isaacson针对Dario反对自主武器的第一个理由——可靠性不足——追问：如果这类武器变得可靠，会怎样？Dario认为，第二个反对理由依然成立：一个人就可能指挥100万台机器人或无人机；而人类士兵可以拒绝违宪或在道德上令人无法接受的命令。如果没有适当的护栏，这种力量集中「从根本上会侵蚀民主」。Isaacson指出，现行法律并未考虑过由100万台机器人组成的军队。
• 应该由民选领导人而非科技公司高管作决定吗？Dario表示认同，同时捍卫企业拒绝合同的自由。他说，国会正在推动多项立法，试图将Anthropic划定的红线落到实处，并将公司的立场视为民主变革的一部分。Isaacson指出OpenAI已经介入。Daniela追问，这究竟是有原则的伦理立场，「还是一次投机的机会？」她也承认，批评者可能希望红线划得更严，或更宽。
• 这期节目的背景还包括研究人员Jacob Coxon辞职，并警告企业正在「拿我们的生命赌博」（“gambling with our lives”）；另有报道称，Anthropic在IPO招股书中提醒投资者，公司面临可能威胁人类存续的风险。Walter Isaacson说，他在2026年7月采访了Amodei兄妹，当时并不知道这段对话后来会显得如此有先见之明。节目背景还提到Anthropic可能IPO，以及一场「可能令公司估值达到2万亿美元」的公开发售。Isaacson在结尾评论中追问，IPO之后公司还能否坚守原则，以及不含广告的产品能否支撑业务。他的竞争层面担忧是：接下Anthropic拒绝业务的公司，可能会让道德约束变成劣势。

5. 丰裕应拓展人类的选择与意义来源

• Dario不认同只有一种预设的未来，比如所有人都把大脑接入计算机。有人会想这么做，也有人更愿意「像阿米什人那样生活」或探索太空。他希望AI能创造足够的资源与丰裕，让所有这些选择都成为可能。「我不认为我们应该把AI和某种关于美好生活的愿景绑定在一起。」
• 谈到意义，Dario质疑人是否必须在某件事上做到世界第一。Deep Blue击败Kasparov后，人类国际象棋依然引人入胜；Magnus Carlsen同时涉足国际象棋、时尚模特和网络迷因，是他举的例子。如果机器的优势会抹去人的意义，人们对国际象棋的兴趣理应早已消失。但这份兴趣依然存在；Dario称之为「后AGI时代的某种寓言」。
• Daniela设想，诊断工作可以完全交给AI，医生则把精力放在理解患者面对艰难诊断时的感受。她认为，多数医生会选择这种交换：摆脱文书工作，专注于当初投身医学的原因。她预计，人们对工作和意义的定义都会改变；家庭与友谊也能提供其他意义来源。但她并未把前景说得过于简单：「我显然不认为事情会这么简单」；「这会非常复杂」。