深入了解衡量前沿智能的竞赛

摘要

• 独立AI评测的创立初衷在 Meta 的 Llama 4 身上得到了验证：它在封闭私测中“表现更差”，却在主要公开测试中展现出“惊人的能力”——声明能力与实际能力之间的鸿沟，不可能靠实验室自报来弥合。 Rayan Krishnan 认为，投入数十亿美元的实验室需要一个“理性的采购市场”，由第三方证据提供依据；他称 Demis 及行业内其他人也在呼吁建立这样的市场。“每当一个新的万亿美元产业出现，就需要这样一个独立测试机构。”
• 这家公司的核心治理选择，是拒绝向实验室出售训练数据，并以 Enron 作为警示案例。 Krishnan 表示，“这个行业相当大一部分人把性能基准做成了销售数据的工具”；当审计方和咨询方是同一方时，“最重要的事就变成通过审计，或者在这里说，击败基准”——这正是公司要避开利益冲突激励的结构性原因。
• Token支出可能开始逼近、甚至超过工资单，而企业正在随意配给智能。 一家财富10强企业给工程师设置了每天约100美元的 Cloud Code 预算，额度在16:00重置，结果“生产力最高的工作时段”落在16:00至18:00之间。另一家财富10强企业则把随意设定的员工额度从100美元提高到300美元。在 Jennifer Li 的无限使用实验中，工程师每天消耗10亿—20亿枚 token，其中一人达到60亿枚，一个月合计约150万美元——“我们在 token 上的支出是员工工资的10倍。”
• 如果没有私有代码仓库测试，模型选择确实会反直觉：“很多情况下 Sonnet 比 Opus 更贵，因为它消耗的 token 太多。” 公司的 Val Smith 产品基于企业 GitHub 代码库构建内部基准，以找出帕累托最优智能体；Li 团队的审计发现，Cognition 的 Devin 在 token 使用上异常高效，而且订阅制可能优于按 token 计费。Krishnan 的判断是，“一家公司的本质，实际上就是它的评测体系”——能把评测结果转化为 ROI 计算的公司，最终会胜出。
• 前沿基准是递归自我改进指数（Recursive Self-Improvement Index，RSI）——它通过预训练、后训练和框架层工程的代理指标进行衡量，因为真正让一个模型训练其继任者“既昂贵又缓慢”。 Krishnan 认为 RSI 是长期重大风险：“某个国家或某家公司突然跃升，创造出我们知之甚少的模型”，这也是讨论中引用研究人员呼吁各国政府进行联合谈判的原因。
• Ben Horowitz 对政策的分工是：政府定义担忧什么并执行规则；私人评测机构回答两个实际问题——“模型能不能做到，以及能不能让模型做到？” 政府“并不特别适合”做评测，“但非常擅长制定规则，因为它们可以执行规则”。Rayan 补充说，实验室承诺把危险模型留在内部的做法“并不总是奏效”。
• 在地缘政治上，Krishnan 希望建立一套“共同的评估语言”，发挥军控核查机制的作用——对应 Reagan 的“信任，但要核查”，把评测框架作为空中侦察。 他承认，主权AI的重复建设“极其低效”令自己意外；他提到 Xi Jinping 与 Trump 将于下月会面，认为这体现了有信任、却没有任何核查机制，并表示网络安全评测必须从代码漏洞推进到对企业云环境和能源电网环境的建模。

精读

1. Llama 4暴露自报问题——Enron教训塑造商业模式

• Krishnan 回忆，2024年初，团队得出结论：“所有公开测试都不足以衡量模型的进展。”Llama 4 成为了验证——它“有点像一场灾难”，在“我们的封闭私测中……实际表现更差”，但在问题和标准都公开的主要公开测试中，却展现出“惊人的能力”。实验室需要一个“理性的采购市场”，让数十亿美元级投资指向真实证据，“而不是仅靠自报来证明这笔投资合理”。
• Ben 用 MPAA 来类比模糊的能力标准。R级和X级的界线“随着时间推移发生了变化”，除了“我一看就知道”之外没有更好的答案；但“如果足够多的企业经营者、财务管理者，或者其他相关人士达成共识，它就会成为规范”，这比当前开放基准更可靠，因为后者“容易遭到攻击，而且范围也太窄”。
• Krishnan 从审计失败中提炼出的结构性承诺是：绝不向实验室出售训练数据，尽管公司“经常被推动去这么做”。他对 Enron 的理解是，当同一团队既做审计又做咨询时，“最重要的事就变成通过审计，或者在这里说，击败基准。这完全不是市场真正受益的方向”。

2. 评测机器：6小时窗口、Steve，以及“总有更高的峰值”

• 公司的运行约束是：“我们绝不希望成为模型发布的延误或障碍。”最初，Krishnan 和联合创始人 Lynx 在发布前通宵工作；如今，这已经变成大规模分布式基础设施，按每个模型的速率限制运行，另有名为 Steve 的内部系统，目标是逐步接管更多人工工作。
• 他最自豪的基准是递归自我改进指数。由于让领先模型训练其继任者“既昂贵又缓慢”，公司为预训练、后训练和框架层工程的每个阶段构建代理指标，同时研究支撑高质量研究和创造的机制与行为。实验室会在模型数据表中讨论 RSI，“但仍然没有共同语言”。
• 关于基准退役，非正式的T恤标语是：“总有更高的峰值。”随着实验室不断进行局部爬坡，“我们的工作就是不断为它们建造新的山峰。”Torenberg 还认为，基准必须跟踪现实世界的状态，例如法律研究评测要更新判例，就像律师需要重新参加执照考试。
• 智能体转向改变了评测架构：评测不再是 ImageNet 那种数百万个一对一标签，而是“创建50个完全可运行的 Web 应用”等任务——样本量更小，评分标准丰富得多，基础设施也必须足够稳定，能够在中途恢复那些运行“数小时、数天，有时甚至数周”的任务。

3. Token对工资单：企业几乎在盲飞

• Krishnan 讲了一个典型案例：一家财富10强企业为工程师部署 Cloud Code，每天预算约100美元，请求额度在16:00重置，结果白天出现空档，生产力最高的时段反而落在16:00至18:00。另一家财富10强企业则随意设定每名员工100美元的额度，之后提高到300美元，“几乎像是把一个员工的工资花在 token 上”。他的判断是，从技术栈的每一层看，企业都在错误判断智能的价值；Anthropic 高昂的模型维护成本和低利润率又进一步放大了问题。
• Jennifer Li 自己做了一个实验：一个月内无限使用编码工具，工程师每天消耗10亿—20亿枚 token，其中一人的峰值达到60亿枚；token 成本约150万美元，“我们在 token 上的支出是员工工资的10倍”。她的团队审查日志、调用链和 GitHub 工作成果后，得到了一些“相当奇怪的洞见”：Cognition 的 Devin “对 token 的使用非常高效”，而订阅制定价可能优于按 token 计费。
• 这项工作催生了 Val Smith 产品：基于企业自己的 GitHub 代码库构建内部基准，找出帕累托最优智能体。结果反直觉——“很多情况下 Sonnet 比 Opus 更贵，因为它消耗的 token 太多”；中间层模型也令人困惑，Luna 和 Terra 与 Opus、Sonnet 并列，另有 Spark，其1.2版本被形容为功能性很强。针对 Torenberg 关于通过 OpenRouter 实时路由的问题——节目中称 OpenRouter 已被 Stripe 收购——Krishnan 说这个名称“有点名不副实”：它主要是一个网关，而路由真正困难的部分是建立评测系统。
• 核心判断是：“一家公司的本质，实际上就是它的评测体系。”Torenberg 提到 token 支出可能“超过工资单支出”时，Krishnan 表示，能够把评测结果转化为 ROI 计算的公司，“长期来看会跑赢竞争对手”。

4. 政策：政府制定规则，评测机构负责核查

• Ben 完整阐述了分工：政府大致知道自己担心什么——生物黑客、网络攻击——但实际需要回答的问题是：“模型是否有能力做到这件事？以及能否让模型做到这件事？”政府“并不特别适合”长期进行这类评测，这“根本不是适合由国家承担的职能”；“但它们非常擅长制定规则，因为它们可以执行规则”。
• Rayan 补充说，实验室承诺把危险模型留在内部并不总能奏效：“即便这样也不总是有效……我们生活在一个有趣的时代。”
• Jennifer 认为，政策讨论一直“非常抽象”，因此公司保持在“证据收集模式”，同时定期向行政和立法部门汇报。她强调，“提出政策方向并不是我们的工作”。Torenberg 则另行提出了“10的26次方 FLOPs”的算力门槛。
• 关于滥用测试，Jennifer 将这项工作归入一致性范畴：“现在已经有一些案例，接受网络安全评测的模型实际上正在攻击漏洞赏金项目，并寻找其他绕过限制的方法。”

5. 地缘政治：评测是AI军备竞赛的核查层

• Krishnan 坦言，从“我非常理想主义的视角”看，主权AI显得“极其低效”：数据中心、数据供给流程和巨型训练任务都在重复建设，“但我们似乎并不生活在那样的世界里”。他的应对方案，是建立一套共同的评估语言，用于讨论风险和各方共识领域。
• 核武军控的类比是 Reagan 的“信任，但要核查”。信任信号确实存在——“Xi Jinping 和 Trump 将于下月会面”——“但没有明确方式真正执行核查”。共同评估应当发挥核弹头数量和空中侦察的作用；RSI 是关键的长期风险，因为某个国家或公司可能突然跃升，创造出“我们知之甚少的模型”。
• Jennifer 从亲身经历出发谈到价值观：她在中国出生长大，也是中国开源模型的用户，“你仍然不能让它们自由谈论 CCP 以及那里的全部历史”；评测不可避免地会编码开发者的价值观，这使不同实验室和国家之间的标准化更加复杂。
• 评测目录本身的前沿也在变化：网络安全工作正从代码漏洞和内存泄漏，转向基础设施层面的风险——“对更大规模的企业云基础设施，甚至能源电网进行建模”。最后的判断是，对这项业务最有价值的模型，应当是“激励与开展高质量评估保持一致”的模型，而不是激励开发智能，或帮助改进模型的方法。