主题 先锋 趋势 方法 作者
返回

第042期 - GDPx:前沿 AI 的基准 | Andrew Megalaa, Jordan Nanos, Max Kan

·SemiAnalysis

正在生成长图…

本篇主题 AI训练数据与评测基准 AI在基础科学与材料发现中的应用 AI对就业替代与劳动力冲击
本篇先锋 Max Kan Andrew Megalaa

摘要

  • GDPX瞄准的是其创作者认为最先带来1万亿美元AI收入的领域。 Max Kan的判断是,这笔收入将高度集中在少数几个领域:更强的模型能在这些领域持续创造高回报,包括芯片设计、生物学和网络安全。他预计,进入2027年后,大多数常规任务仍不需要前沿智能;因此,GDPX衡量的是经过刻意筛选的一部分经济活动。
  • 基准的核心区别,在于任务本身够难,还是评测设计有缺陷。 Max将其概括为“难在任务,还是评测不公”(“difficult versus unfair”):正确答案也可能被判错,因为验证器只认另一种同样成立的解法。SemiAnalysis从14家专业数据供应商处征集任务,淘汰的供应商多于最终纳入的数量,并将大部分任务保密,以减少针对基准优化的空间。
  • 材料科学最清楚地揭示了模型能力与成本之间的意外落差。 Astra在一个子任务上超过了已发表的业界最佳结果;贡献者Brian则发现,部分看似困难的工作流之所以失败,是因为他“提示方式不对”(“prompting it wrong”)或提供的上下文不足。Jordan Nanos指出,材料科学任务成本最高达到40至50美元,而有些模型约花10美元就能完成任务。
  • 要可靠地自主完成真实的金融和法律工作,模型仍有明显差距。 金融环境还原了一笔涉及一家零食公司的交易:以略高于8亿美元收购62%股权,文件约有4,000份。按二元评分,金融任务基本全军覆没,只有Carbon零星答对;Opus的部分得分也只有50%出头,法律任务的最佳部分得分则在30%或40%区间。
  • 安全限制会实质改变模型的实用性,即使其底层能力可能更强。 Andrew认为,过于严格的安全分类器理应受到一定惩罚;Astra因拒绝执行任务,在网络安全上得分为0%。Muse Wonder和Muse Wonderful被评为网络安全领域的“顶尖选择”,也印证了Jordan的实际体验;不过,Muse Wonderful当时无法通过公开API使用。
  • Carbon提升了Google的竞争位置,但在Jordan偏好的比较口径下,仍未追上领先实验室。 排除生物学、网络安全和对齐任务,并采用部分评分后,Gemini 4 Carbon仍落后于Astra和Opus。Jordan认为Carbon是Google的转折点,称其为“第三名选手”;他也提到,OpenAI和Anthropic预计很快会推出新的旗舰模型。
  • 就业争论仍无定论,而初级岗位承压的程度可能远超简单的生产力叙事。 Max认为,人的判断力眼下让优秀工程师更有价值,同时也承认未来可能只需要少得多的主管。Andrew则质疑,被取代的员工会因此变得更有野心这一假设:很多人只想“上完自己的班,然后回家”。

精读

1. 难基准,首先得是公平基准

  • Max强调的核心区别是“难在任务,还是评测不公”:模型可能通过模块B正确修复了代码错误,验证器却只接受模块A。此时,失败反映的是评分器与提示要求不匹配。他认为,常用基准里有很多这类问题;要识别出来,必须检查模型的实际执行过程,判断模型为何失败,而不是只看任务描述。Andrew补充说,模型可能用意料之外的方式解题,因此团队会审阅交互记录,有时还会借助AI探查结果是否正确、评测是否公平。

  • SemiAnalysis没有假定自己能独立设计出200个优质任务。团队招募了14家专业数据供应商,统一负责质量审核,最终淘汰的供应商多于纳入的数量。入选合作方也经历了大量迭代。Max的重点是,要让任务同时贴近现实、公平且足够困难,既需要领域专业知识,也需要反复检视模型的真实表现。

  • 这套基准为团队提供了一种可重复的方法,用来评估他们无法亲自大量试用的新模型。最终排名对团队而言确实陌生:任务周四才定稿,周日上线;完整排行榜则在发布前3至4小时才出炉。模型运行加上评分,轻易就会耗时24小时。Carbon就是团队此前几乎没接触过的模型之一;他们周四晚才获得访问权限,当时才第一次开始测试。

2. 前沿收入取决于那些能持续从智能中获益的工作

  • Max的核心判断是,“AI收入的第一个1万亿美元”将集中在少数几个领域:这些领域能持续吸收更智能的模型,并带来高投资回报。他认同大多数任务不需要前沿智能,而且预计进入2027年后这一点会更加明显。因此,GDPX瞄准的是前沿模型供应商未来的收入引擎,而不是所有知识工作的代表性切片。

  • 仪表盘列出的领域包括递归自我改进、芯片设计、网络安全、生物学、金融、法律、量化交易、硬件设计、材料科学、对齐和软件工程。选题重点是可验证性,以及领域吸收智能的能力。对齐也反映了团队更广泛的评测重点:他们认为对齐对未来模型至关重要,而Fleet的专业能力也让将其纳入评测成为现实。

  • 材料科学家Brian的经历展现了他看法的变化。他起初没想到,Astra在自己提出的某些工作流上会表现得这么好。实际设计任务后,他意识到自己“提示方式不对”(“prompting it wrong”),或是提供的上下文不足,于是需要设计更难的任务集。Max说,Brian看到Astra完成的工作,足以让一位人类材料科学家超过同行中位数。

  • Max表示,当Astra在某项材料科学子任务上超过已发表的业界最佳结果时,拿人类水平作比较就变得困难;有些芯片设计任务甚至需要公司团队协作完成。Jordan则给出了成本对比:材料科学中最贵的任务每个花费40至50美元,而有些模型约花10美元就能完成任务。

3. 安全过滤和专长差异重塑排行榜

  • 总榜纳入了生物学、网络安全和对齐任务,但安全分类器有时会压低模型表现。Astra因拒绝执行任务,在网络安全上的得分为0%。Andrew认为,过于严格的安全分类器在一定程度上理应受到惩罚。

  • Jordan自己也发现Muse Wonder在网络安全上很强;Muse Wonderful的结果进一步印证了这一点。团队虽然无法通过公开API使用Muse Wonderful,仍设法拿到了它的结果。Jordan开玩笑说:“你们把我的超额收益全抖出来了”(“You guys gave away all my alpha there”)。他强调,比较结果时必须考虑用户实际要做的工作,以及实际能用到的模型。Andrew说,团队拿到的Anthropic权限只有最低档,或倒数第二档,但这仍会触发许多任务的限制。

  • Andrew很高兴自己对Opus 5.5的主观体验得到了验证,同时也承认Astra在材料科学和部分工程工作上表现格外出色。不同实验室各有强项。他的实际建议是,针对手头的工作使用表现最好的模型,而不是认定某一个模型在所有任务上都能胜出。

  • Jordan偏好的同类比较排除了生物学、网络安全和对齐任务,并对金融和法律采用部分评分。按这一口径,Gemini 4 Carbon仍落后于Astra和Opus。Jordan称Carbon是Google的转折点,认为它重新站稳了“第三名”的位置,同时也处在Tier 2阵营的头部。他表示,Google与OpenAI、Anthropic之间仍有明显差距,并提到后两家预计很快会推出旗舰模型。Max补充说,这一比较针对的是公开模型;OpenAI和Anthropic未必拿出了最强模型。

4. 一笔真实收购暴露金融任务的上下文难题

  • Max对比了两种做法:让银行家用两小时编出一个真实任务,或者直接还原一笔真实交易。GDPX的金融合作方使用了一笔私募股权收购案例:一家家族经营的零食公司以略高于8亿美元的价格出售62%股权。评测环境包含全部4,000份真实文件。对Max来说,这与让专家合成一份近似其工作的任务“有本质区别”。

  • 文件来自私募股权公司、投资银行、会计师事务所,以及卖方的数据室;原有的文件组织方式和混乱程度都得到保留。任务取材于人们真正做过的工作,包括会计合伙人通过邮件交代助理的事项。Jordan尤其看重一点:团队可以还原任务分配时的数据室状态,而不是让每道任务都访问最终版本的全部文件。

  • 有一道任务涉及一封要求将数据调整至Q4的邮件。模型漏掉这封邮件后,尽管其他工作看起来合理,最终数字仍然错误。Jordan向金融从业者朋友核实过,对方告诉他,助理绝对应该发现这封邮件。用Jordan的话说,在真实银行业务环境里,漏掉这一点是“不可接受的表现”。

5. 部分得分能体现进步,却不代表工作簿可以直接使用

  • 金融任务的最终评分采用二元制,但工作簿的各个组成部分会单独计分。Max的理由很实际:一份盈利质量分析工作簿如果有一半数字错了,就不能算合格交付。主管不会说“干得好,小吉米”,然后自己把工作做完。部分评分衡量的是能力;最终结果则看分配的工作是否成功完成。

  • 按二元评分,金融任务基本全军覆没,只有Carbon答对了一道。Jordan说,Opus的部分得分在50%出头。法律任务的二元评分全部为零;Jordan称最佳部分得分在30%或40%区间。这些差距值得关注,因为它们表明能力缺口不小,不只是被某个边缘要求卡住,导致其他工作功亏一篑。

  • Max承认,二元评分可能掩盖任务过于简单或评测不公的问题:如果二元得分为25%,部分得分却有97%,差的那3%可能只是模型本应满足的一项冷门要求。Jordan补充说,两种得分差距很大,也可能意味着任务不公平或设计有误。GDPX在大多数领域采用连续评分。例如,芯片设计中的PPA优化,可以根据进展在朴素基线的0分与理论上限的1分之间计分。

  • 金融领域未来的token支出有利润空间支撑,能够承受相当高的成本;Max说,金融在2026年已经是一个重要支出领域,他预计2027年还会有大量投入。法律领域还存在“PvP”机制:如果更强的AI能改善诉讼结果或合同谈判,对手使用AI就可能迫使另一方购买更强的智能。

6. 更强的模型让部分员工更有价值,也威胁初级岗位

  • Andrew以前认为,人类加AI会一直显著强于AI单独工作,自己也会继续手写代码。他说,Sonnet 3.7、Sonnet 4、Sonnet 5,尤其是Opus 4.5和4.6,改变了他的看法。他仍认为人类加AI胜过单独使用AI,因为人能带来模型本身不具备的“些许熵”(“little pieces of entropy”)。

  • Max将基准结果与失业预测区分开来:GDPX刻意不评测客户服务等容易受影响的工作。优秀工程师眼下能提供“品味、监督和判断力”,但两年后,一个主管能否取代一家公司的大多数工程师,仍未可知。当模型能处理定义明确的问题,而管理实习生本身又会增加开销时,安排实习生任务也已经更难说服人。

  • Jordan认为,能力提升也可能带动需求扩张:网络安全需要更多专业人才,材料发现也可能催生更多工作。Max则反驳说,一位能力极强的材料科学家,仍可能让博士助理的工作自动化。转录中一位未具名发言者提出了乐观的可能:过去做基础工作的员工,可以用上“随叫随到的无限量博士级科研助理”(“infinite PhD grunt workers on tap”),转而探索更有野心的科学问题。

  • Andrew明确反对把这种乐观判断当作普遍预期:他认为,许多美国人只想上完自己的班、回家,而不是不断提升职业目标。Max则认为,AI可能迫使人们更在意自身价值,否则就无法创造价值。但最终结果仍未确定。双方争论的是人如何适应,而不是工具有没有进步。

7. 保持任务保密,才能守住基准的初衷

  • Jordan谈到公开任务的两难:公开能让外部专家检查质量,却也会让针对基准刷分变得更容易。基准可能不再衡量模型能力,转而衡量哪家实验室买到了最相似的训练数据。GDPX的首要目标是衡量“模型的真实能力”,而不是让每道任务都对公众开放。

  • 折中方案是每家合作方公开一道任务及其模型执行过程,同时提供详细方法说明。佐证包括真实的金融交易数据室,以及网络安全合作方把自己的零日漏洞改造成任务。Max说,团队用自己的智能体做质量检查;他提到Bench 4曾判定约50%的任务有问题,而GDPX的任务之后交由每家合作方逐一测试,未达标的任务会被剔除。团队希望通过具体的构建细节和样例表现建立可信度,同时将大部分评测材料保密。

  • 下一步目标是让GDPX v1出现在主要模型发布说明页上,之后再推出能应对任务饱和、纳入新兴高价值领域的版本。Max和Andrew希望引入更多强力合作方、增加各领域的任务数量,并覆盖所有推理水平的评测。这个基准应随着前沿模型能完成的工作而演进,而不是永久冻结在今天的任务组合上。