先锋 趋势 方法 投研 作者
模拟人类:从生成式智能体到80亿个数字孪生体——Joon Sung Park,Simile AI
返回节目精读

模拟人类:从生成式智能体到80亿个数字孪生体——Joon Sung Park,Simile AI

摘要

  • Joon Sung Park 的核心判断是,模拟也有自己的规模定律:在模拟和预测人类时,摄入的关于人类的数据越多、使用的算力越大,模型表现就会获得可预测的提升。 Simile 正在训练自己的模型,并看到了这条曲线的“早期一瞥”。
  • 护城河的核心在于,Park 将生成式模型追求“超级理性、客观的机器”,与 Simile 所需的“和我一样笨”的模型作对比——模型必须犯下人类会犯的同样错误。 通过网络训练的模型,本质上包含的是人类主动暴露出来的态度数据,只掺杂了部分行为数据,而不是“人类的暗知识”(dark knowledge of humanity)——即人们实际上会做什么。在利基人群上,Park 称前沿模型的行为预测准确率会降至20–30%,一般人群也只有50–60%;相比之下,Simile 已验证的基准是以85%的准确率复现人们的态度和行为,“大致与人们复现自身的准确度相当”。
  • 验证方面的核心资产是《Generative Agent Simulations of 1,000 People》论文:对具有代表性的1,000名美国人进行抽样,采集2小时数据,2周后用问卷、Big Five、行为经济学博弈、General Social Survey 以及已发表的RCT测试数字孪生。 后续研究显示,在 Open Science Foundation 平台数万项预注册实验上进行后训练,还能带来显著的进一步提升;因果数据和随机对照试验数据最稀缺、也最有价值,因为“世界是我们的 ground truth,但它只发生一次”(the world is our ground truth, but it happens once)。
  • 产品定位是用模拟来塑造结果,而不是预测结果。 Park 说:“得知两季度后销售额会崩掉……并不能真正帮到你。”客户真正想知道的是,现在需要做什么,才能避开那个未来。他对 Foundation 及心理史学的讨论——把科学家流放至Terminus这一反直觉的第一步——说明了逐步推进的因果模拟为何胜过点预测;例如,一套电动车营销方案可能提升 EV 销量,却让整体汽车销量下降。
  • 在TAM问题上,Park明确拒绝将市场研究定义为1000亿美元级市场,并直言:“模拟不是市场研究工具。” 模拟是人类决策工具。当前落地场景包括概念测试、焦点小组、上市公司的模拟财报电话会,以及与 Gallup 的战略合作;Simile 每周从数万人处采集数据,并拥有覆盖全球数千万人的样本库合作。由于风险偏好等特征“不会随时间真正改变”,采集到的受访者可以跨研究复用。
  • 给投资人的成熟度标尺是,Park认为模拟行业所处阶段,类似 AGI 叙事中的 GPT-3.5 和 GPT-4:在当前垂直领域已足以造成真实影响,但激进扩展仍在前方。 他猜测,模拟最终的成本会“与训练一个基础模型相当”;谈到一次社会规模的气候变化模拟时,他说:“我现在就会筹钱,只为跑一遍。”在主持人对谈中,swyx 称一项非洲 UBI 研究得出的结果是“否”,并提出5年约1400万美元的成本;Park 没有确认这一数字,并质疑问题是否出在落地执行上。
  • Park 将 Simile 描述为研究实验室与产品公司的结合体:公司约60人,在 Mission Rock 设有旧金山总部,并新开纽约办公室;联合创始人包括 Michael Bernstein、Percy Liang(“foundation model”一词的创造者)和 Lainie Ellen,员工约15–20%来自 Park 的实验室。 他对市场的收束判断是:“你看任何一部科幻作品里的先进文明,都会有两项双支柱技术:一项是某种形式的 AGI,另一项就是模拟。”

精读

1. 从油画家到 Smallville 论文——通过一场“时间机器游戏”

  • Park 的人生路径始于韩国,11岁时移居波士顿,之后认真接受写实油画训练——“那不是爱好,而是:我们要靠这个谋生”——直到他意识到,“伟大的艺术家往往会创造自己的媒介,而今天我们能用的最佳媒介,其实是计算。”
  • 他2020年开始在 Stanford 攻读博士,加入 Percy Liang 牵头、撰写《Opportunities and Risks of Foundation Models》的团队,并抓住了其中真正新颖的部分:一种“并没有被训练去完成任何特定事情”的模型,但由于吸收了来自互联网的广泛人类数据,“只要从正确的角度戳一下,人类行为就会以相当逼真的方式冒出来”。
  • 他与未来的联合创始人 Michael Bernstein、Percy Liang 做过一次创始讨论:把时间快进10年,再回头看,什么才是最重要的单一应用?答案是:“如果我们能直接重建自己生活的世界呢?很难再提出比这更有野心的目标。”这催生了 Social Simulacra,随后是2023年的 Generative Agents(Smallville)论文。Park 认为这篇论文被记住了错误的重点:“记忆组件其实被严重低估了……那是一个非常好的早期记忆系统。”

2. 为什么模拟必须先于个人智能体梦想

  • “时间机器游戏”中紧随其后的答案是个性化智能体,但 Park 押注的是推进顺序:如果要做出真正出色的个人助理,“首先需要的其实是一个出色的用户模型”。他的刻意简化版例子是:让智能体替你点晚餐,它选了夏威夷披萨,而你讨厌菠萝——“它彻底失败了”。
  • 他的强判断带着明确保留:“我不认为我们已经看到过真正有用、且达到这一工作应有野心的个人助理……我不认为所有正确要素已经就位。”谈到 OpenClaw 一类智能体,他认为用 Markdown 文件存储记忆“相当聪明”,这与 Generative Agents 在2022年的直觉相同——“把所有东西放进 Markdown 文件或文本文件里,就结束了”;但在规模极大的记忆中做检索,“需要大量工作”。
  • 他给出了仅靠提示词不够的界线:如果模型必须学习其运行世界的底层物理规律,也就是“新的社会物理学”,就需要触及参数层。公开模型“还没有学会人类社会物理学的完整映射”,这正是 Simile 的核心论点。

3. 行为基础模型:3类数据,只有1类稀缺

  • 第一类是丰富的定性访谈,问题可以直截了当地问:“讲讲你的人生故事。”其中包括“童年记忆、创伤或初恋……这些信息以很难预测的方式提供了大量洞见”。第二类是观察性行为数据,包括交易记录和网络抓取活动,用来建立基础统计。
  • Park 称第三类数据“可能是最重要的”:来自随机对照试验的因果机制数据,也就是那些“为什么”。这类数据天然稀缺:“世界是我们的 ground truth,但它只发生一次。”因此 Simile 会在虚拟实验室中,邀请经过同意并获得激励的参与者自行开展 RCT,借鉴社会科学方法:一项决定是否真正具有行为意义,取决于“你在这个决定上的利益是否真实”;例如,实验性线上商店中的购买商品必须真的送到参与者手中。
  • Park 将生成式 AI 模型追求成为“超级理性、客观的机器”,与 Simile 的目标对照:这里讨论的模型要“和我一样笨”(as dumb as I am),我犯什么错,模型就得犯同类的错。swyx 接话说:“你是在解决 Moravec 悖论。”

4. 模拟是为了塑造未来,而不是预测未来

  • Vibhu 以 West Wing 中一场虚构的多发性硬化症披露民调为例:“我们知道这很糟,只是不知道会糟到什么程度。”这引出了主持人的现实质疑:如果我凭直觉就能判断影响方向,为什么还要为模拟付费?Park 的两个回答是,影响幅度和冲击强度确实很难凭直觉判断——“每次有人在网上发言引发巨大反弹,你都会想:‘真是个蠢货。’但这事很难预判”——以及模拟真正交付的是路径,而不是一个点估计。
  • 在 Vibhu 提到 Foundation 后,Park 给出了他的标志性类比:心理史学要把3万年的动荡压缩至1000年,反直觉的第一步是把发出警报的科学家流放到Terminus——“太反直觉了……但结果证明,在这次特定模拟里,那确实是正确的一步。”你给系统的是一个目标,而不是一道调查问卷;系统返回的是实现目标所需的步骤。
  • 放到市场中,一家只优化 EV 销量的车企可能发现,获胜的电动车营销活动“会改变人们对非 EV 汽车的看法,最终反而让整体销量下降”。swyx 提到 Shopify 在 SimGym 中的类似思路:干预的是多轮购物轨迹,而不是态度本身。

5. 真实世界校准:85%的自我复现准确率,以及前沿模型的失分区

  • 主持人的问题是:同一个目标能不能直接交给 Opus 或 GPT-4.5?答案会有多大不同,又该如何确认模拟建立在真实世界之上?Park 指向2024年底发表的《Generative Agent Simulations of 1,000 People》论文:研究对1,000名具有代表性的美国人进行抽样,开展2小时的广泛数据采集,包括由 American Voices Project 编写脚本的访谈和行为数据;随后构建数字孪生,并在2周后把真人请回来,接受问卷、实验、行为经济学博弈、Big Five、General Social Survey 以及发表在 PNAS 上的 RCT测试。
  • 结果显示,数字孪生“能够以85%的准确率复现人们的行为和态度,大致与人们复现自身的准确度相当”——这是首次经过验证地证明,个体可以被准确建模。前沿模型提供了“正确的基础”,却缺少态度和行为的细节质感:在客户真正关心的利基人群上,表现会“一路降到20%或30%”,一般人群也只有约50–60%,“你不会想基于这类发现做决策”。
  • 后续论文利用了重复危机带来的一线希望:Open Science Foundation 平台上的预注册研究,包含数万项由专业人士设计、假设预先锁定的实验;Simile 用这些数据对模型进行后训练,行为预测能力获得显著提升。Simile 训练了两个不同模型,分别面向人群层面和个体层面;其中个体任务“在很多方面都更难”。

6. 模型遗漏的人性,以及 Park 愿意买下的数据集

  • 当被问及人类会做什么而模型做不到时,Park 将差距重新表述为:“人类会犯哪些偏差或错误,而模型遗漏了它们。”他的例子是自己住在 Palo Alto 时,宁愿花40分钟步行回家,也不叫 Uber——“不是为了效率。那段路真的很帮助我思考……这是非常人类的活动。”目标是建模那些“本质上属于人类”的东西:它“可能不是最高效的做法……但正是这些事让我们成为我们自己”。
  • 如果必须在 LinkedIn、Twitter 和 Facebook 中选择收购标的,他会选 Facebook:LinkedIn 上的人“戒备心很强”,Twitter 充斥着“疯狂的人设”,而 Facebook “是更私密的空间之一”,更能展现一个人的默认状态。Amazon 交易数据确实是行为数据,但“也是最常见、最容易获得的数据”。
  • 谈到 Tencent 那篇将职业与背景交叉组合成提示词的“十亿人格”论文,他认可其规模,但认为如果底层统计已经足够,“那我们其实就已经解决了模拟”——只需调取模型参数中已经嵌入的知识。“但遗憾的是,我们看到的并不是这样”:要获得关于特定人群的细节化利基知识,仍需要定制化采集,并“关注并尊重人们每天真实过的生活”。

7. 规模定律、Schelling 的点,以及诺贝尔级别的野心

  • Park 说,Simile 已经看到“模拟规模定律的早期一瞥”:随着人类数据和算力增加,模型表现会获得可预测的提升。swyx 回应:“我们需要一个 scaling walker。”Park 说:“你什么时候找到一个,那会是一件很美的事。”
  • 他再次讲起10年愿景:“我们能不能模拟地球上生活的80亿人?”这将打开气候变化、“民主正在崩塌的信号”以及“货币体系的起源”等棘手问题。Park 认为“那里有一座诺贝尔奖等着被拿下”,并确认主持人的限定:是经济学诺贝尔奖。
  • 他引用的先例是 Thomas Schelling 在20世纪70—80年代构建的种族隔离模型:红点和蓝点在网格上移动,展示了即便极轻微的同色偏好,也会“随着时间推移导致社会彻底隔离”。这挑战了“只有明确、公开的种族主义才能解释隔离”的看法,并影响了混合收入住房政策。Schelling 后来因奠定早期模拟的基础获得诺贝尔奖。基于智能体的建模后来式微,因为“红点和蓝点并不是对人的丰富描述”;生成式智能体或许能恢复这种逼真度。swyx 补充说,新加坡公共住房实行强制种族配额,正体现了这套逻辑的现实相关性。

8. 成本经济学:今天是数万人,未来是基础模型级别的运行

  • 当前的规模已经能从数千到数十万人的建模中提炼丰富洞见;每周从数万人处采集数据,样本库合作覆盖全球数千万人。更关键的是,同一批样本可以在后续研究中重复使用:智能体与具体领域无关,而且部分特征相对稳定。Park 说,风险偏好“不会随时间真正改变”。更大的样本规模,与其说是为了提高统计功效,不如说是为了筛选出“真正关心的目标子人群”。
  • swyx 担心,如果数千个智能体与另外数千个智能体彼此交互,成本会出现组合式增长。但他随后指出,现实世界研究往往更昂贵,很多研究根本无法实施,而这些研究所服务的决策可能牵涉数亿美元。Park 将经济账拆成两层:部署时应替代已有预算;但“捕获长期价值的方式……在于上行空间”——更好的决策可能价值数亿美元乃至数十亿美元。
  • Park 明确把这说成一个猜测:“未来几年,我们会开始创建成本与训练一个基础模型相当的模拟。”谈到社会规模的气候模拟时,他说:“我现在就会筹钱,只为跑一遍。”在主持人讨论 UBI 时,swyx 称一项非洲研究的结果是“否”,并询问成本是否达到5年约1400万美元;Park 质疑问题是否出在落地执行。Vibhu 的保留意见仍然成立:有时人们付费是为了验证自己已经相信的结论,而不是为了真正模拟它。

9. 超越市场研究的TAM、GPT-3.5时刻,以及背后的公司

  • 当前用例包括概念测试、焦点小组、行为实验和 A/B 测试,以及模拟财报电话会。Walmart 是早期客户之一,希望在询问人们想法之外,用模拟测试产品,因此需要处理图片、Figma 原型和网站等多模态输入。Worldfront 是早期客户之一,对让智能体使用网站 URL 这类领域的能力很感兴趣。Gallup 是战略合作伙伴,但 Park 有意暂缓进入政治领域,直到公司拥有足够的“护栏和视角”。
  • 令 Park 意外的是部署规模:许多组织声称“我们会倾听人们……但实际上,这种情况极少发生”。模拟可以确保“人们的声音始终出现在那些替他们做决定的会议室里”。
  • 在市场空间估算上,市场研究是一个1000亿美元行业,但“模拟不是市场研究工具。模拟是人类决策工具……这种工具的TAM是多少?真的说不清。”Park 坦言,自己从未带着计算TAM的目的入场,只能“假设……它一定很大”。在成熟度上,他认为“这很像 AGI 叙事中的 GPT-3.5 和 GPT-4 阶段”。
  • 公司约60人,在 Mission Rock 设有旧金山总部,并新开纽约办公室。联合创始人包括 Park、Michael Bernstein(据 Park 介绍,他是 ImageNet 论文共同作者)、Percy Liang 和负责业务的 Lainie Ellen。员工约15–20%是 Park 过去实验室的同事,其中许多人后来去了 OpenAI、Google Gemini 等机构。公司也在继续招聘产品和基础设施工程师、研究人员,以及“各个部门”的其他人才。
  • 最后的落点回到了画家的比喻:“模拟很像绘画……没有一幅画是完美的……但它会试图突出主体最重要的部分”,也就是“本质”。至于我们是否身处某种模拟之中,他说:“无论我们是不是身处模拟,我们的体验都不会因此变得不真实……我会在死后担心这件事。”