摘要

Anthropic 对蒸馏的警告，已将前沿 API 访问变成地缘政治与能力控制问题。 Nathan Lambert 认为，受 GPU 约束的中国实验室“显然应该这么做”：购买 Claude 输出，比在内部生成可比质量的合成数据更容易；而 Anthropic 将分布式采集称为“攻击”。服务条款主要赋予供应商终止访问的权利，但如果重新加强执行，供应商可能会把最强模型留在产品内，或限制高端 API 的访问。
执行难点在于认识论：API 运行期间，评测与蒸馏看起来完全一样。 Sebastian Raschka 用了基本相同的循环来跑 MATH-500、一个包含12,000个样本的数学数据集，以及通过 OpenRouter 调用 DeepSeek V3.2 的书籍实验；只有在事后保存输出并用于训练，行为才会显出差别。请求量、重复程度和主题分布，可能在数万或数十万次请求时暴露采集行为，但合法基准测试会把问题运行3到5次，生产环境的聊天机器人也会产生巨大流量，由此形成令人不适的隐私权衡。
Anthropic 的证据高度依赖时间窗口，尤其是 MiniMax 与 DeepSeek 流量之间的差距。 swyx 注意到，Opus 4.6 发布后，MiniMax 几乎将一半流量切换过去，这与 MiniMax 2.5 正在训练的判断一致；DeepSeek 约150,000次交互，可能对应另一段训练窗口。如果不知道请求发生在4周还是6个月内，Nathan 认为 Anthropic 强调 DeepSeek 部分也是一种传播策略：它是“美国人唯一知道的中国 AI 名字”。
蒸馏数据并非天然有价值，教师模型必须适配学生模型。 Nathan 表示，Qwen-dense 模型往往比更强的前沿系统更适合教会 Qwen 类开源模型，而 GPT-OSS 也是一个出人意料的好教师模型：“你有了这些数据，不代表它真的会让你的模型变得更好。” 实验室需要先证明 Claude 数据能够产生有效信号，再决定是否付费提取1,000亿个 token，尤其是在大模型生成速度约为每秒40个 token 的情况下。
API 可能不如围绕 API 构建的产品构成有效护城河。 Nathan 称 API 市场“竞争惨烈”，并认为如果 Anthropic 真担心蒸馏，可能会把最强模型直接放进 Claude Code，而不向市场广泛提供；Sebastian 则反驳称，聊天机器人、OpenClaw 工作负载，以及超出订阅额度的用户，都会创造规模可观的非补贴 token 生意。swyx 认为 Anthropic 有“Apple 的感觉”，同时称 OpenAI 的领导层由于理想主义和原则，不太可能把模型锁在产品背后——尽管据报道，最近3个 GPT-5 Codex 变体都曾获得2到4周的产品独占窗口。
SWE-bench Verified 已无法区分前沿编码模型，因为饱和度与任务缺陷共同淹没了有效信号。 分数集中在80多分，而重复运行的噪声约为0.5到1分，因此发布版本之间微小的提升“显然是胡扯”。OpenAI 后续审计发现，剩余顽固任务中有59%按原题无法解决；其中一个任务暗中要求精确使用字符串 get_annotation，使记忆原答案成为唯一可靠路径。
下一轮评测的成本会实质性上升，隐私性也会更强。 GPT-5 使用了更晚版本 Django 的知识，而 Gemini Flash 和 Opus 仅凭任务 ID 就能复原题目与解法，这说明公开 GitHub 基准会污染模型，即使不存在蓄意作弊。SWE-bench Pro 增加了更新的任务、私有/公开拆分、更多仓库和语言，但嘉宾预计前沿评测的成本将达到数百万美元，之后可能上升至“数千万乃至数亿美元”，具备规模优势的实验室和数据供应商将因此受益。

精读

1. Anthropic 将普通蒸馏升级为战略访问权之争

Sebastian 先区分了经典蒸馏与今天更宽泛的 LLM 实践：前者是用大教师模型的 logits 训练更小的模型，后者则是收集模型生成的答案，再用这些答案做监督微调。他以 DeepSeek R1 为例，节目中称其拥有67.1亿参数，并据此生成约10亿和30亿参数的变体；在创建紧凑模型时，“大家都这么做”。
Nathan 将这一机制延伸到前沿系统：实验室可以借助类似 Claude Opus 的模型来构建相关模型，而内部团队拥有的工具比 API 客户更丰富。争议并不始于实验室蒸馏自己的旗舰模型，而是始于教师模型属于竞争对手。
Nathan 的地缘政治判断非常明确：面对严重 GPU 短缺的中国实验室，“显然应该这么做”，因为通过 API 购买合成数据，比自行生成更容易。Anthropic 将分布式采集称为“攻击”，与其更广泛的 AI 竞争叙事一致。
前沿模型供应商长期禁止使用 API 输出训练竞争模型。Nathan 认为，服务条款本质上是访问规则——供应商可以切断违规者的访问——而不是对下游实际发生什么的证明。围绕早期 Alpaca 式研究的担忧大多已经消退；ByteDance 可能曾遭遇过类似断供，但竞争焦虑正在重新点燃这一问题。

2. 检测需要监控行为，而不是证明模型已被训练

Sebastian 的质疑非常实际：他的评测脚本与蒸馏脚本几乎完全相同。两者都会提交问题、收集答案，并遍历一个数据集；他提到 MATH-500、另一个包含12,000个样本的数学数据集，以及通过 OpenRouter 调用 DeepSeek V3.2 的实验。请求过程本身无法揭示这些答案之后是否会被用于训练。
Nathan 首先提出的区分标准是规模。普通评测可能只运行1次，但随机性基准会把相同问题重复运行3到5次；当请求达到数万或数十万次时，再将其解释为评测就越来越牵强。通过分布式、受速率限制的账户进行工业化提取，会制造更明显的重复模式。
Sebastian 的反驳值得保留：合法用途的规模同样可能很大。企业聊天机器人可以产生海量流量，严肃的评测套件也可能覆盖大量基准。供应商或许能区分广泛分布的蒸馏数据与狭窄的数学或客服流量，但这意味着要检查客户生成的内容：“这多少有点奇怪”，即使用户也不应默认互联网上托管的 LLM 流量是私密的。
Nathan 澄清称，执行行动并非始于中国：Anthropic 早已阻止 OpenAI 和 xAI 使用其模型，并且可能明确指控 xAI 进行蒸馏。中国实验室的帖子仍是影响最大的升级，因为它公开将账户行为与地缘政治联系起来。

3. 没有时间维度，Anthropic 的流量总量说明不了太多

Nathan 称这篇帖子“在某种意义上是政治性的——也许不算政治”，意思是它的目的在于传达更大的观点，而不是完整解释底层测量结果。他最尖锐的怀疑是：DeepSeek 之所以被点名，是因为它是“美国人唯一知道的中国 AI 名字”，尽管检测到的活动规模要小得多。
swyx 对 MiniMax 2.5 的判断集中在时间点上。MiniMax 似乎正在进行蒸馏时，Anthropic 发布了 Opus 4.6，并观察到近一半流量切换至新模型——这是同一条流水线在寻找最新教师模型的异常清晰信号。
缺失的时间窗口是关键变量。报告中的调用究竟发生在4周还是6个月内，会彻底改变解读，尤其是如果 DeepSeek 在约1年前训练 V3.1 和 V3.2。账户受到速率限制且持续更换时，数百万次交互需要相当长的时间。
Sebastian 提出，MiniMax 的架构可能只有 DeepSeek 的约1/3大小、速度更快；他认为 MiniMax 可能使用了分组查询注意力，而不是 MLA 或 DeepSeek Sparse Attention，这或许能解释使用差异；他也提到免费层的可能性。Nathan 否定了10倍或3倍效率差异的解释——“我可以保证不是这样”——但承认 DeepSeek 早期找到正确研究思路或数据的可能性很小。他的默认判断更简单：大多数实验室都会测试可用 API，把不同教师模型接入同一条流水线，然后保留能提升性能的消融结果。

4. 最强模型未必是最好的教师模型

Nathan 的核心技术限定是，教师模型的质量具有相对性。Qwen-dense 模型往往特别适合教开源权重学生模型，因为很多学生本身就是 Qwen 模型，或已经变得类似 Qwen；OLMo 也能有效学习 Qwen 的输出。GPT-OSS 也出人意料地是一个好教师模型。
将同样的提示扩展到 GLM-4.7、更大的 DeepSeek 模型或最新的 Qwen MoE，并不保证带来提升。可能的机制是教师模型的 token 概率与学生模型的基础分布之间存在兼容性；采样设置同样重要：“你有了这些数据，不代表它真的会让你的模型变得更好。”
Sebastian 也独立观察到，同系列蒸馏的效果更好。强得多的模型，可能在风格上差异过大，或与学生模型预训练中接触到的问答分布相去甚远。他还保留了新旧方法的区别：真正的 logits 蒸馏在开放权重模型上可行，而 Claude 和 OpenAI 只暴露有限的 top-token 信息；Nathan 澄清称，OLMo 使用的是生成 token，而不是 logits。
数量本身也带来权衡。以约每秒40个 token 的速度生成1,000亿个 token 非常缓慢，因此中等规模教师模型可能比最强前沿模型更快交付可用数据。这使得数据数量与质量成为流水线中独立的一项消融变量。swyx 更广泛的总结是：“你部署的模型永远不是你训练的模型。” Nathan 认同实验室可能会保留更大的内部教师模型，但他对这些实验室有多频繁专门训练 dense 模型以部署 MoE，表示“不是100%确定”。

5. 产品独占可能成为解决 API 泄漏的答案

Nathan 提出的激进商业判断是，前沿 API 市场“竞争惨烈”，且差异化很弱。API 更适合 Google、Azure 等传统云厂商，以及 Lambda、Nebius 等新兴基础设施供应商，而不是以产品为核心的实验室。如果 Anthropic 真的担心模型被提取，可以立即把新模型放进 Claude Code，而跳过广泛的 API 发布。
Sebastian 从需求侧反驳称，客服产品、超出订阅 token 限额的应用，以及 OpenClaw 工作负载，都可能需要 API。在足够大的规模下，只要推理定价仍能盈利，出售这些未获订阅补贴的 token“其实并不是一个糟糕的商业模式”。
swyx 的判断是，Anthropic 因为有“Apple 的感觉”，更可能关闭模型。至于 OpenAI，他不认为其会从根本上把所有东西锁在产品内，并将这种克制归因于理想主义和原则，而不是经济激励。不过，经济方向已经很明显：据报道，最近3个 GPT-5 版本都曾给 Codex 变体提供2到4周的独占窗口；Sebastian 则提醒，最新一次的时间安排也可能只是为了推广新的 Codex 应用。

6. SWE-bench Verified 死于饱和与无法解决的任务

swyx 追溯称，SWE-bench 源自 Princeton 一个将数千个开源 issue 与 pull request、测试配对的团队。它偏向一小批热门仓库，形成了选择偏差，但在 Devin 报告成绩后，成为第一个被广泛采用的智能体编码基准。模型表现从发布初期约13%升至约80%。
与 HumanEval 式自动补全不同，SWE-bench 只提供 issue 和仓库状态，不规定修复路径。swyx 和 Nathan 猜测，OpenAI 花费了几百万美元筛选500个任务，每个任务由3名人工审核。讽刺的是，OpenAI 最初甚至无法在自己的基础设施上跑完全部500个任务，因此部分版本报告的只是“子集中的子集”，分母更小。
饱和使排行榜几乎失去意义：模型成绩集中在约81%到89%之间，重复运行的波动约为0.5到1分。swyx 称微小的增量纪录“就是胡扯”。嘉宾指出，500个二元任务意味着每次只能增加0.2分；Nathan 补充称，评分标准的子分项允许更细微的变化。Sebastian 的实际比较更尖锐：MiniMax 2.5 的体感不如 GPT-5.2，但基准分数却相近。
随后，OpenAI 对剩余的顽固失败任务重新审计，每个任务安排6人参与，并设置升级机制。结果发现，剩余任务中有59%按原题无法解决。swyx 举例称，其中一个任务要求隐藏测试找到精确名称 get_annotation，但提示词从未提出这一要求。嘉宾的结论是，只有记住原始答案才能稳定通过，这一缺陷反而可以作为检测污染的“蜜罐”或金丝雀。

7. 公开基准会自我污染，替代方案将更加昂贵

GPT-5 的思维链有时会调用更晚版本 Django 中的信息来解决旧任务。嘉宾强调，这不一定出于恶意：GitHub 训练数据可能通过代码克隆、下游单元测试、博客文章、会议演讲或对基准快照发布之后功能的文档，吸收这些基准内容。
OpenAI 还只给 Gemini Flash 和 Opus 一个任务 ID，模型就能“把题目和解法一股脑吐出来”。考虑到语料规模，Sebastian 认为单次运行就能记住这些内容非常惊人。他说，实验室可能已经形成了一套跨训练阶段重复利用数据的“艺术”：预训练中复用过多会造成遗忘；Nathan 则补充称，持续预训练需要重新访问部分旧数据，即使只增加约1%–2.5%的数据，也能保留惊人的细节。
SWE-bench Pro 以更新的日期、私有/公开拆分、更广泛的仓库和语言，以及改进后的测试重新开始。Nathan 认为，Scale AI 的动力和预算实际上近乎无限，因为优质数据对它“简直是生死攸关”。Sebastian 保持必要的怀疑：SWE-bench Verified 同样有专业审核人员，因此 Pro 的缺陷可能也要等模型达到饱和后才会暴露。
私有评测可能需要受控访问——API key、协议，或服务端评分——以降低私有任务泄漏的风险。swyx 给出的成本预测是投资者最关心的终点：前沿评测可能花费数百万美元，随后升至“数千万乃至数亿美元”。编码和数学仍相对客观；计算机控制任务和主观工作可能由 GDPval 代表，更难评测，可能还需要2年时间才能建立良好的基准。

152: 千寻智能韩峰涛：具身模型淘汰赛和落地的非共识 No Priors 第105期｜对话 AI Safety 中心主任 Dan Hendrycks