研究员
1 场深度对话收录
Sebastian Raschka
前沿洞察
AI竞争重心正从盲目扩大模型规模，转向推理时算力、RLVR与系统级协同，代码则是首要商业闭环。开源扩大了中国势能，使专有数据、底层算力栈与分发界面成为真正护城河。同时，基准作弊与数据污染致使公开评测体系失效，推高验证成本；前沿API已沦为防范蒸馏与地缘博弈的战略关口，可靠性与成本仍是落地核心阻碍。
观点集合
[直播] Anthropic 蒸馏与模型作弊：SWE-Bench 已死 | Nathan Lambert & Sebastian Raschka
Anthropic对蒸馏的警告，使前沿API访问成为能力控制与地缘竞争节点，但请求发生时很难区分评测和训练。蒸馏价值取决于教师与学生模型的兼容性；公开基准污染和SWE-bench Verified中59%的剩余任务无法按原题解决，正推高私有评测成本。
查看摘要（7段）
- Anthropic 对蒸馏的警告，已将前沿 API 访问变成地缘政治与能力控制问题。 Nathan Lambert 认为，受 GPU 约束的中国实验室“显然应该这么做”：购买 Claude 输出，比在内部生成可比质量的合成数据更容易；而 Anthropic 将分布式采集称为“攻击”。服务条款主要赋予供应商终止访问的权利，但如果重新加强执行，供应商可能会把最强模型留在产品内，或限制高端 API 的访问。
- 执行难点在于认识论：API 运行期间，评测与蒸馏看起来完全一样。 Sebastian Raschka 用了基本相同的循环来跑 MATH-500、一个包含12,000个样本的数学数据集，以及通过 OpenRouter 调用 DeepSeek V3.2 的书籍实验；只有在事后保存输出并用于训练，行为才会显出差别。请求量、重复程度和主题分布，可能在数万或数十万次请求时暴露采集行为，但合法基准测试会把问题运行3到5次，生产环境的聊天机器人也会产生巨大流量，由此形成令人不适的隐私权衡。
- Anthropic 的证据高度依赖时间窗口，尤其是 MiniMax 与 DeepSeek 流量之间的差距。 swyx 注意到，Opus 4.6 发布后，MiniMax 几乎将一半流量切换过去，这与 MiniMax 2.5 正在训练的判断一致；DeepSeek 约150,000次交互，可能对应另一段训练窗口。如果不知道请求发生在4周还是6个月内，Nathan 认为 Anthropic 强调 DeepSeek 部分也是一种传播策略：它是“美国人唯一知道的中国 AI 名字”。
- 蒸馏数据并非天然有价值，教师模型必须适配学生模型。 Nathan 表示，Qwen-dense 模型往往比更强的前沿系统更适合教会 Qwen 类开源模型，而 GPT-OSS 也是一个出人意料的好教师模型：“你有了这些数据，不代表它真的会让你的模型变得更好。” 实验室需要先证明 Claude 数据能够产生有效信号，再决定是否付费提取1,000亿个 token，尤其是在大模型生成速度约为每秒40个 token 的情况下。
- API 可能不如围绕 API 构建的产品构成有效护城河。 Nathan 称 API 市场“竞争惨烈”，并认为如果 Anthropic 真担心蒸馏，可能会把最强模型直接放进 Claude Code，而不向市场广泛提供；Sebastian 则反驳称，聊天机器人、OpenClaw 工作负载，以及超出订阅额度的用户，都会创造规模可观的非补贴 token 生意。swyx 认为 Anthropic 有“Apple 的感觉”，同时称 OpenAI 的领导层由于理想主义和原则，不太可能把模型锁在产品背后——尽管据报道，最近3个 GPT-5 Codex 变体都曾获得2到4周的产品独占窗口。
- SWE-bench Verified 已无法区分前沿编码模型，因为饱和度与任务缺陷共同淹没了有效信号。 分数集中在80多分，而重复运行的噪声约为0.5到1分，因此发布版本之间微小的提升“显然是胡扯”。OpenAI 后续审计发现，剩余顽固任务中有59%按原题无法解决；其中一个任务暗中要求精确使用字符串
get_annotation，使记忆原答案成为唯一可靠路径。 - 下一轮评测的成本会实质性上升，隐私性也会更强。 GPT-5 使用了更晚版本 Django 的知识，而 Gemini Flash 和 Opus 仅凭任务 ID 就能复原题目与解法，这说明公开 GitHub 基准会污染模型，即使不存在蓄意作弊。SWE-bench Pro 增加了更新的任务、私有/公开拆分、更多仓库和语言，但嘉宾预计前沿评测的成本将达到数百万美元，之后可能上升至“数千万乃至数亿美元”，具备规模优势的实验室和数据供应商将因此受益。