Claude 会合作！探索 LLM 社会中的文化演化——与 Aron Vallinder 和 Edward Hughes 对谈

摘要

• 模型选择彻底改变了玩具 AI 社会是财富复利增长还是陷入停滞。 在完全合作、约32,000个资源单位的理论上限下，Claude 3.5 Sonnet 社会积累了约3,000–5,000个资源单位，并在部分条件下跨代变得更合作；Gemini 1.5 Flash 只产生了几百个资源单位，GPT-4o 则“几乎没有资源增长”。这说明，社会层面涌现的能力仍是标准模型排名中的一大盲区。

• 可持续合作需要能够奖励执法的声誉系统，而不只是奖励慷慨。 只要历史记录足够长，智能体原则上就能同时追踪某个受助者是否合作，以及该受助者是否适当惩罚过此前的背叛者；否则，负责执法的人反而会被视为自私。Edward Hughes 的框架是：背叛者已经“玷污了你的名声记录”（“blotted your copy book”），但为了维护规范而扣留资源的人仍应获得社会信任。

• 这项实验把模型行为变成了文化演化过程，而不是一次性基准测试。 每代12个智能体进行12轮游戏，共持续10代；最富有的50%存活下来，6名新成员阅读幸存者写下的策略并进行自己的“改编”。因此，继承、变异和选择可以放大静态评估永远暴露不出的细微模型倾向。

• 提示工程提高了合作水平，却没能复现 Claude 的改善轨迹。 明确告诉 GPT-4o 要合作确实有效；把 Vallinder 认为最有利于合作的 Big Five 人格画像分配给智能体，也产生了显著影响，但较弱的提示无法稳定带来逐代改善。这一点很重要，因为实际部署的智能体通常只会收到“最大化我的得分”或“尽可能帮我赚钱”之类的目标，而不是经过精心设计的社会宪法。

• 智能体数量的激增，可能抹去今天人类社会中悄悄阻止大规模背叛的摩擦。 Hughes 举的餐厅例子是：一个助理在晚上7:00预订附近所有餐桌，让用户选择后再取消其余预订；一旦每个智能体都这么做，供给就会崩溃，速度则变成军备竞赛。笼统要求“保持合作”并不能解决问题，因为适当行为取决于情境——即使闯红灯，也可能是为了避免事故。

• 这次混合模型运行表明，少数合作型智能体未必会自动驯化异质智能体经济。 一个由每种模型各4个智能体组成、之后每代各加入2个新智能体的社会，得分仅略高于纯 GPT-4o 社会，并随时间小幅下降。Aron Vallinder 推测，GPT-4o 起初会利用合作型智能体，随后其他智能体降低合作程度；他们尚未测试把 GPT-4o 新成员放入已经成熟的 Claude 社会中。

• 鼓舞人心的标题掩盖了一个严重的规范性限制：Claude 可能会执行行为规范，却不理解正义。 初步测试表明，无论智能体是自私的背叛者，还是在正当地惩罚他人，Claude 都可能同等惩罚其扣留资源的行为——这“令人遗憾，但也令人兴奋”：更长的历史记录或许能提供有用信号，却不代表更深层的道德推理。接下来的测试包括人类参与、通信、思考模型、公共物品博弈和群体选择。

• 政策处方应是围绕可信环境展开经验性治理，而不是强制普遍合作。 合作可以带来共同收益，但价格固定属于共谋，愿意为整体福利牺牲车主利益的自动驾驶汽车也可能违背车主意愿；因此 Aron Vallinder 预计，标准或监管需要针对不同互动类型分别设计。Hughes 主张持续评估和反馈闭环，因为智能体部署是一个“棘手问题”，其社会相变可能呈现滞后效应，逆转难度高于触发难度。

精读

1. 社会层面的行为是 AI 分析缺失的基本单位

• Hughes 认为 AI 社区出人意料地“唯我论”：目标、奖励和基准测试通常只问一个独立系统是否完成了任务 X。这种方式便于测量，却遗漏了智能如何在其中变得高产或具有破坏性的规范与制度基础设施。

• 人类的优势并不只是个体能力强，而是在不断变化的情境中进行灵活合作。Hughes 指出，蚂蚁会合作，却无法持续发明新的协调方式；如今的语言模型看起来已经足够灵活，可以在人类之间以及彼此之间，以同样多样的方式协作。

• 一旦100个或更多智能体分别追求各自被分配的目标，它们产生的外部性可能决定更大系统的稳定性——也就是那个“让我们所有人都安全且富有生产力”的系统。Nathan Labenz 担心，自主网络智能体带来的变化，可能远比当前这种渐进式个人生产力提升的模式更加断裂。

2. 文化让群体积累个体无法独自发现的东西

• Vallinder 对文化给出了宽泛定义：文化是“任何能够影响你行为、并通过社会传播的信息”。语言、习俗、规范、信仰、宗教、技能和烹饪技巧都属于文化。文化演化，就是这些社会传播信息随时间发生变化的过程。

• 文化是影响行为的第三条路径。遗传编程适合变化缓慢的环境；个体学习适用于变异可控的情境；当环境复杂到个体无法独自求解时，文化学习让个体能够调用累积经验。

• 演化需要变异、继承和适应度差异。文化继承的来源可以是同伴、教师和导师，而非生物学上的父母；当底层技能难以评估时，成功特征则会通过直接观察、声望或从众扩散。

• 不同于随机的基因突变，文化变异可以被引导：发明者通常知道自己想要改进什么。Labenz 的巴黎圣母院类比说明了累积结果——建筑耗时约200年，因此第6代或第7代之后的人可以看到完整结构。

3. Elinor Ostrom 的牧场公地把实验室博弈与政策连接起来

• Labenz 质疑，小型行为经济学实验是否真的能够预测全社会结果。Hughes 以外部有效性回应：实验室发现必须能够推广到其他场景，并最终解释现实中的田野行为，而不能只是受控学生实验中的有趣产物。

• 诺贝尔奖得主 Elinor Ostrom 研究了瑞士阿尔卑斯山村庄 Törbel，当地的放牧记录可以追溯到1517年。其持久规则是：“任何村民送上牧场放牧的奶牛数量，不得超过自己冬季能够养活的数量”；当地官员有权对违规者罚款。

• 这个案例表明，小群体可以围绕共有资源实现自组织，不必完全依赖宏大制度。随后，Ostrom 在实验中重建了这类问题，研究者得以改变执法或沟通条件——这种干预不可能事后施加于一个17世纪的村庄。

• 这些实验分离出了惩罚和沟通的重要机制；更广泛的框架后来也影响了人们对个人、企业和政府之间去中心化气候协调的思考。两者相互赋能：田野观察提供现实感，受控博弈则揭示因果杠杆。

4. 动态规范意味着静态对齐天然不完整

• 当被问及繁荣的西方社会是否证明其底层规范更优时，Hughes 拒绝接受这一推论。他从对 WEIRD 人群的研究中得出的结论是：“成功有很多种方式”，而西方对成功的衡量方式尤其个人主义化。

• 心理学经常记录规范是什么，却很少研究规范如何形成和变化。Hughes 认为，AI 对齐也存在类似的狭窄视角：先识别人类想要什么，再把系统锁定在这一目标上——尽管不同社会的偏好并不相同，许多所谓禁忌都存在情境性例外，甚至包括一些极端例外。

• 规范也会随时间变化。因此，比“今天可能是规范，但明天会是什么规范？”更值得关注的问题，是规范将如何演化；在 AI 领域，即便一年前的静态快照也可能迅速过时。

• 理想系统应当能够稳健地参与规范变化，而不只是反映训练数据收集时存在的价值观。这会把对齐从一个固定目标，重新定义为文化与制度过程。

5. 捐赠者博弈让合作对个人有成本，却能在集体层面复利

• 每次配对中，一个智能体成为捐赠者，另一个成为受助者。捐赠者决定交出多少资源，受助者获得其中的2倍；双方轮换角色，使慷慨成为一种即时承担个人成本、但能创造正和收益的行为。

• 所有人都捐出最大额度时，社会总财富最高；但孤立的利己主义智能体可以什么都不付出，同时继续接受资源。如果所有智能体都推广这一策略，捐赠会停止，资源不再倍增，社会最终陷入低信任均衡。

• 行动前，智能体会阅读博弈说明并生成文字策略。捐赠者可以查看受助者此前作为捐赠者时的行为，以及向前追溯两轮的更早互动信息。

• 每次模拟包含12个智能体、每代12轮游戏，共10代。最富有的50%获得存活资格，这会强化智能体在不确定社会是否会回报或惩罚搭便车者时的背叛诱因。

6. 二阶声誉是让规范执法能够存续的关键

• 仅仅奖励上一次合作的智能体并不够。无条件合作者可以与条件合作者共存，但其不加区别的慷慨会向无条件背叛者敞开大门：后者获得资源却不捐赠，最终反而胜过所有人。

• 稳定的声誉规则必须偏好帮助合作者、同时拒绝支持背叛者的智能体。Hughes 将其比作执法或排斥：一旦有人“玷污了你的名声记录”，社会就会将其排除，使背叛不再保证存活。

• 更难的问题是如何评价执法者。如果 Labenz 因为 Vallinder 曾经背叛而扣留资源，Hughes 仍应信任 Labenz；否则，执法会变成声誉上的自残，理性智能体也会停止执行规范。

• 反过来，向已知背叛者捐赠可能是在维持一个“犯罪集团”。更多层次的历史记录，原则上可以帮助智能体区分自私的扣留与正当惩罚，也能区分普通慷慨和奖励违规者。

7. 代际更替让书面策略演化为文化

• 每代结束后，6名获胜智能体及其策略得以留存。6名新成员可以看到这些成功策略——Hughes 将他们比作村庄里的“长者”——并被要求对策略进行变异，在不要求精确复制的情况下保留信息。

• 这一设置具备演化的3个要素：文字策略被继承，新成员引入变异，基于资源的存活机制负责筛选。第10代因此可能包含古老策略、近期变异，或是反复经过群体层面筛选后形成的混合物。

• 新成员还拥有信息优势。如果看到所有人都在合作，它可以推断立即背叛或许能够获利，从而引发入侵与适应的波动，而不是简单走向越来越慷慨。

• Labenz 提出了一个尚未解决的设计问题：如果提示没有明确说目标是最大化最终资源并存活，行为是否会改变？该研究使用了明确目标，因此没有测试无目标设定下的演化轨迹。

8. Claude 让合作复利增长，竞争模型社会则趋于扁平

• Claude 3.5 Sonnet 实现了较高合作水平，并在部分条件下于10代中持续提升。Labenz 强调的并不只是更高的终点，还有不断加速的资源曲线：这个社会正在学会更有效地实现复利增长。

• Gemini 1.5 Flash 的合作程度低得多，也没有展现持久的上升趋势；部分运行曾暂时改善，随后便逐渐停滞。GPT-4o 从很低的合作水平起步，之后略有下降，使资源总量增长基本持平。

• 在理论上完全合作、总量接近32,000个资源单位的情况下，Claude 最终达到约3,000–5,000个，Gemini 达到几百个，GPT-4o 则几乎没有增长。Claude 距离乌托邦仍然很远，但差距已经将一个不断增长的正和社会，与一个基本停留在零和状态的社会区分开来。

• Hughes 原本部分预期不同模型会表现相近，因为开发者都在重叠的排行榜和能力基准上进行优化。但实验暴露出传统评估无法测量的“潜在能力或潜在能力缺失”，支持开展纵向、多智能体测试，而不是再增加一个静态分数。

9. 提示可以设定行为，却无法创造文化改善

• 明确指示模型合作，按预期带来了合作。较弱的提醒——例如指出帮助他人可能促使对方未来提供帮助——却出人意料地难以稳定提升 GPT-4o 的表现。

• 在7分制维度上为智能体分配 Big Five 人格，当所有特征都设为 Vallinder 认为最有利于合作的画像时，影响明显更强。即便如此，他没有在 GPT-4o 中看到类似 Claude 的跨代改善，也不认为 Gemini 中出现了这种改善。

• Hughes 认为，现实中的智能体可能会收到“尽可能帮我赚钱”、拿到最高游戏分数、购买杂货或订到理想餐厅等目标。它们通常不会得到能够解决目标所产生的每一种外部性的详细指令。

• 一个餐厅智能体可以预订方圆3个街区内晚上7:00的所有餐桌，让用户选择后再取消其余预订。一旦这种行为被复制，餐位供给就会消失，最快的智能体反而获胜；这说明自动化如何压垮那些依赖人类付出、伦理和有限并行能力维持稳定的制度。

10. 混合社会、通信和人类参与将是下一轮压力测试

• 在 Vallinder 的初步混合运行中，第1代包含每种模型各4个智能体；之后每代加入每种模型各2名新成员。表现仅略高于纯 GPT-4o 社会，并小幅下降，可能是因为 GPT-4o 首先利用了合作，随后其他模型降低了慷慨程度。

• Labenz 提出了更尖锐的入侵问题：一个或两个 GPT-4o 智能体，是否会利用并破坏一个已经建立的 Claude 社会？Vallinder 尚未进行测试；他的假设是，GPT-4o 智能体会使平均水平略降，但无法茁壮成长，因为 Claude 智能体会观察并惩罚其背叛。

• 计划中的变体会加入通信：通信可以发生在智能体制定代际策略之前，也可以直接发生在捐赠者和受助者之间。其他建议的扩展包括群体选择、公共物品博弈、专业化，以及加入缺失演化结构的经典博弈，例如囚徒困境或最后通牒博弈。

• 由于每个行动都是文本，人类参与现在在技术上已经很简单。Hughes 希望研究人类在 Claude 3.5、GPT-4o 或混合社会中是否表现不同，以及这些群体最终是否走向不同结果，从而至少获得一个关于5年后社会可能处于何种状态的“嘈杂信号”。

11. 可信制度比普遍利他主义更重要

• 初步分析削弱了对 Claude 成功最强的解读。尽管更长的历史记录对 Claude 有帮助，但 Claude 似乎会同等惩罚零捐赠，无论这种行为源于自私的背叛还是正当执法；它可能在不理解惩罚正义与否的情况下使用额外社会信息，这“令人遗憾，但也令人兴奋”。

• 合作本身取决于情境。Vallinder 希望智能体达成互利协议，而不是操纵价格形成共谋；Labenz 同样质疑，买家是否会选择一辆愿意为整体福利牺牲车主的自动驾驶汽车。正如 Hughes 所说，“合作与共谋”取决于观察者的立场。

• Vallinder 给出的实际答案，是由标准或监管支持的可信环境。Hughes 更支持经验性评估和快速反馈，而非教条式规定；他以社交媒体回音室为例：平台不断向人们提供更多他们想要的内容，最终形成了事前很难看见的系统性后果。

• Hughes 将部署称为一个“棘手问题”：设计者无法预先看见解决方案，可能只能在部署进行到一半时才发现正确架构。他提到产品失败后的回滚，但警告存在“滞后效应”——社会相变的逆转可能需要比最初触发相变远得多的退却。Vallinder 同样拒绝给出绝对的开源结论，因为阈值和情境使这个问题确实充满细微差别。

• 上行空间仍然巨大。Hughes 想象 AI 进入科学文化循环：提出假设、与人类一起验证，并大规模并行地开展合作，延伸 AlphaFold 已经展现的模式——可能有数万或数十万人利用它推进癌症和气候研究。他认为，“如果我们做对了”，社会就能把智能体演化引向真正想要的结果。

• 研究门槛异常低：代码已经开源，实验可以借助 API 额度在 Google Colab 中运行，测试新模型只需更换 API key。Labenz 对社会科学家的邀请非常直接：如今稀缺的不是驾驭一个50,000行工程栈的能力，而是提出高质量问题的能力。