摘要

蒸馏不是原初意义上的抄答案，而是“有门槛的抄作业”。 典型做法是用强模型（如 Fable、Claude）的问答、思维链乃至 Agent 完整任务轨迹去训练学生模型逼近其输出行为，需要算力、数据管线和 know-how；即便某些做法不算典型蒸馏，洪浩指出，只要用强模型输出优化竞品，对 Anthropic、OpenAI 和 Google DeepMind 来说也违反其宽泛的用户协议——法律上“目前是个灰色地带”。
两个技术节点让蒸馏的投入回报比提升，规模从 2025 年起明显变大。 2024 年 9 月 o1 揭示后训练大规模强化学习可学到推理策略、思维链成为“更好的来蒸馏的数据的原料”；2025 年 1 月 DeepSeek R1 同步发布六个蒸馏小模型（四个 Qwen 2.5 底座、两个 Llama 3 底座）。叠加 K3 等开源模型逼近美国闭源，蒸馏被推到中美竞争的风口浪尖。
张一鸣禁止 Seed 蒸馏是一次真实的战略下注，代价与逻辑都清晰。 他认为蒸馏“短期内可以改善模型表现，但本质上是在复制 Claude 已有的能力”，最多逼近、无法超越；据曼祺判断，Seed 2.1（6 月发布）应该使用过一些蒸馏手段，之后应该经历内部讨论并决定不再蒸馏。与此同时，报道提到字节从 6 月开始重组数据团队，拟成立与 Seed、Flow 平行的一级部门“AI 数据与安全”。组织代价论最锋利——“张一鸣可能不是最懂技术的，但他大概率是最懂人性的”。
点名与反制升级正在把蒸馏变成合规尾部风险。 Anthropic 2 月点名 DeepSeek、Kimi、MiniMax，6 月致美国国会信称千问 2,880 万次交互是“有史以来发现的规模最大的蒸馏攻击”，并已部署蒸馏流量分类器与行为指纹系统，可在过程中发现跨账号协同与套取思维链；本地部署接近 3T 的开源模型来蒸也需要大量算力、电费高，曼祺认为这种行为比较容易被监测。实体清单则是洪浩假设中的潜在代价。
学生能否超越老师在技术上是开放问题，但持续第一取决于创新。 多教师蒸馏“博采众长”、特定任务超越教师都有可能；不过“现在就是各领风骚几个月”，且若自进化假设成立，率先到达某状态者加速度更大、把后面的人“甩得更远”——靠蒸馏紧跟并不足以自满。
双标之辩留下一个有价值的判例回旋镖。 Anthropic 因从盗版书网站下书被作家集体诉讼、达成 15 亿美元和解，而加州法院判例认为付费后训练不侵权——洪浩追问：同一逻辑下，别家用 Anthropic 的产出提升自家模型是否也不构成侵权？“这个案例挺有意思。”
比蒸馏更大的变量可能是智能供需错配。 “斩杀线”图上 V4 和 Grok 4.6 下方、右侧的模型均被斩杀；一位应用创始人称用户“十个任务里面八个都能被 DeepSeek V4 Flash 解决”，白领任务对更强智能的需求规模与节奏都打问号——“我们之前都说 coding 比视频生成大，万一错了呢？”这比估值的短期波动更动摇 frontier 投入的商业逻辑。

精读

1. 蒸馏的正解：不是抄答案，是“有门槛的抄作业”

曼祺的简化描述：先有一堆问题去问一个很强的模型（如 Fable、Claude），得到大量“提问—回答”数据对，再用它训练自己的学生模型，“让学生模型的输出行为去接近你想学的教师模型的输出行为，让两者的差异越来越小”。有了推理模型后，可蒸的东西从静态的题目和答案扩展到推理过程，再到 Agent 完成任务的完整过程。
洪浩追问“可以理解为抄答案吗”，曼祺的修正值得记：蒸馏主要用在后训练和中训练，要算力、要把数据放进模型训练，“不是说像抄作业那样，人家写 A 你就写 A 的，你这个是要有一些方法和技巧，和你的智慧和你的劳动在里面的”——洪浩随后概括为“它虽然也是抄作业，但是它是有门槛的抄作业”。

2. Agent 时代的轨迹蒸馏，与“不是蒸馏但照样违约”的边界

智能体轨迹蒸馏是文章未展开、播客补充的部分：强模型可以造题（围绕真实题目改写扩增）、造环境（代码库、终端、编译器、单元测试等让 Agent 真正把任务跑起来的一整套系统）、造轨迹——让 Claude 在自己造的环境里完整做一遍任务，再让学生模型在行为上逼近这个全过程。
曼祺划的技术界线：如果只用更强模型来评估自己的模型在环境里做任务的表现，那可能不是蒸馏，而是“用了一些最强的模型的数据和输出来帮助你做一个智能体的强化学习”。洪浩指出，在 Anthropic、OpenAI、Google DeepMind 看来，即使不算典型蒸馏、只是用其输出提升竞争模型，也可能违反范围宽泛的用户协议。
用户协议有无法律效力？曼祺不下结论：“从朴素的想法上来说，目前是个灰色地带。”

3. 蒸馏的初心是压缩：从毫末的车载芯片到 R1 的六个小模型

蒸馏最开始的一种主流目的是把大模型能力压进小模型：降成本、提速度，服务手机、汽车、未来机器人等端侧低算力、低延时场景。曼祺第一次线下长谈蒸馏是采访毫末 CEO 顾维灏——云端训练的大模型要装进算力有限的英伟达 Orin 之类的车载芯片，靠蒸馏加剪枝、量化变小。Qwen 每次开源多个尺寸也属此类。
时间线上的两个证据：Google 今年 2 月的文章称“观测到去年开始，蒸馏等偷取 IP 的行为变得越来越多”；曼祺获得的信息是“从 2025 年到现在规模变大了很多”。而压缩与变强本是一体两面——“我把大模型的能力压到小模型里，其实也是让小模型变强”。

4. o1 与 R1：蒸馏投入回报比提升的两个节点

2024 年 9 月的 o1 带来两个变化：一是揭示后训练中做大规模强化学习可以让模型学到推理策略，而蒸馏本就主要用于后训练，“你的投入回报是上升了”；二是测试时算力生成的更长思维链属于模型使用阶段的产出，用户理论上可见（隐藏了也能通过手段还原），“变成了更好的来蒸馏的数据的原料”。
2025 年 1 月 R1 技术报告同步发布六个蒸馏小模型——四个 Qwen 2.5 底座、两个 Llama 3 底座，都以 R1 为教师，大概是在测试这种方式能否提升小模型能力。
为何 2025—2026 年讨论格外热烈：闭源三家在 2026 年年初起有更多公开文章和致美国政府的信件点名中国公司，加上中国开源模型明显逼近闭源模型——“K3 就是一个里程碑”，在美国引起很多讨论和争议，各种原因累积把蒸馏推到风口浪尖。

5. 张一鸣的禁令：宁可短暂落后也不走捷径

张一鸣在 Seed 内部会上明确不允许蒸馏，理由三层：蒸馏“短期内可以改善模型表现，但本质上是在复制 Claude 已有的能力”，继续干下去“最多只能逼近对方，不能实现超越”；他希望 Seed 从更底层维度构建 AGI 壁垒；以及一个强表态——即使不蒸馏意味着短暂落后国内竞争对手，也不采用这个捷径。曼祺还推测，字节全球业务体量下，对合规以及国外公司如何看待它可能也有更多考虑。
内幕细节：据曼祺判断，Seed 2.1（6 月发布）应该使用过一些蒸馏手段，之后应该经历了一段思考和内部讨论，最后决定不再蒸馏；而在那之前的两年多、两三年时间里，字节确实不怎么蒸馏。至于不蒸馏是否是 Seed 未达国内 SOTA 的原因——“是挺重要的原因之一，但你也不能完全归咎于这件事情”。
表态的人才代价真实存在：确有几个人因此想离开 Seed，逻辑很个人化——“你的职业生涯是有限的”，希望在最宝贵的几年里做出代表作、待过训练出至少中国最强模型的团队。曼祺提醒另一面：也可能有人反被这种表态吸引而来。

6. 学生能否超越老师：技术上开放，组织上有代价

技术上并非绝无可能：多教师蒸馏“博采众长”（“当然有可能你训不好就是博采众短”）已被用于后训练中合并不同方向专家的能力；此前也有研究认为，在特定任务上学生模型有可能超过教师，只是不代表泛化性、通用性整体更强——曼祺定性为“一个开放式的可以去被研究的问题”。
更硬的约束是组织：蒸馏“成本比较低，而且比较有确定性”，重心放在这种确定性方式上，做更长期、更不确定探索的项目和人“可能就得不到足够的资源和认可”——顶尖研究员很需要创新研究被鼓励、被看到的环境。文章的比喻是，运动员理论上可以一边吃兴奋剂、一边训练，“只是你吃了兴奋剂之后，肯定会有一些侥幸和惰性”。
一条极客留言让曼祺印象深刻：“张一鸣可能不是最懂技术的，但他大概率是最懂人性的。”曼祺认为，技术和组织都考虑进来，张一鸣说蒸馏可能很难实现超越“也许是一个真实的情况”。附带的技术副作用——你也可能学到教师模型的错误和不好的行为。

7. 字节的替代路径：数据升为一级部门，第三方数据的擦边球

动作已经出现：智能涌现报道字节从 6 月开始重组数据团队，成立与 Seed 和 Flow 平行的一级 AI 部门“AI 数据与安全”，负责人王银磊（Adam Wang）原来在 TikTok 负责直播，曾向文佳和 Alex 汇报。洪浩据此认为，字节需要自己获得不依赖 OpenAI、Anthropic 等公司数据的能力。
洪浩还提出一种听闻和现实操作：有些公司可能自称不蒸馏，却在“体外”通过购买第三方数据公司的数据实现蒸馏目的。曼祺的两分法是——技术上，只要你让自己的模型逼近一堆更强模型的输出和行为，“我觉得技术上它是蒸馏”；至于法律上和用户协议上能否绕开，“有很多操作空间”，若之后美国有更严厉限制，就不再是单纯的技术问题。

8. 点名名单与“如果都不蒸馏”的思想实验

谁在蒸馏没法评论，公开信息是：Anthropic 2 月点名 DeepSeek、Kimi 和 MiniMax，6 月致美国国会的信中提到阿里 Qwen——2,880 万次交互，称之为“有史以来发现的规模最大的蒸馏攻击”；反而智谱没有被美国公司公开点名。
阿里被点名后全集团禁用 Claude Code，曼祺认为“这两个事儿可能没有直接的必然的联系”——更多是合规表态（中国用户理论上本就不能用 Claude）加数据安全考虑，但确实处在中美模型竞争的大语境里。
思想实验的交锋：如果所有头部都不蒸馏，格局会怎样？曼祺：那这一点上大家都一样，还是看别的能力，“可能没有什么变化”。洪浩顺势推“那 Kimi 还是 SOTA、Seed 还是落后”，被当场抓包：“你这个又预设了其他人都在蒸馏而字节没有蒸馏，对吧？”

9. 模型自称 GPT 不是蒸馏证据

2024 年 11 月有研究测了 27 个模型、设计了 77 个问题研究身份混淆：GPT-4 会说自己是 GPT-3，Gemini Pro 会说自己是百度文心，Seed 会说自己是 GPT——结论是仅凭身份混淆很难判断谁用了谁的训练数据，更不能说明蒸馏；更合适的方式是看输出分布是否接近，以及模型整体行为是否接近（说话方式、输出格式、拒答方式、代码风格），且“需要很大的量”，问一两次觉得像证明不了什么。
曼祺反问判断动机：对用户不影响使用；但如果你是投资人、二级市场买家或求职者，价值在于你的技术判断——“蒸馏这个事儿长期来说对一个模型研发团队是不是一件好事儿”，再看它是不是真的做了蒸馏。

10. 蒸馏的真难点：账号、中转站与数据管线——有人蒸出了自己

第一关是账号与用户运营：怎么获得稳定、高频访问强模型的账号；行业里有从业者提及的做法是建很多中转站，让真正有需求、能提出高质量问题的用户（高校理工科学生、研究者、高级程序员）通过中转站使用领先的 GPT 或 Claude——真实提问只是种子，再围绕它扩增改写。
防坑案例是本期金句之一：与第三方中转站合作，对方可能在连接领先模型的过程中掺入你不想用的模型——“我知道有某一家模型就是用中转站，结果发现它其实蒸出来的是自己的，就自己在蒸自己。”
第二关是一整套数据管线：造题、从真实数据里筛选过滤去重、用模型扩增改写、纠错、数据形式和配比，加上整个系统的成本与稳定性——“整体来说它是一个比较复杂的系统工程”，有经验和 know-how 在里面。回到抄作业之问：“如果非要说它是抄作业，那抄的过程非常复杂，本质上就已经不是抄了。”

11. 蒸馏藏不住：电费、行为指纹与实体清单风险

想绕开 API、下载开源模型本地蒸几亿条数据？黄仁勋在 7 月 20 多日的一次采访中也被问到这个问题：K3 接近 3T，V4 是 1.6T，部署这么大的模型需要很多算力，持续跑数据“电费应该也挺高”——“总之就是它会比较容易被监测到”。如果政府或其他人认为这是隐患，政府可能比较容易监测到。
Anthropic 的反制不是从结果倒推，而是过程中发现：已建立识别蒸馏流量的分类器和行为指纹系统，可发现跨账号协同、重复提问和套取思维链的行为，并加强对教育、研究和创业公司账号的身份认证——与前述“找高校学生来用”的运营路数正好相呼应。多教师混合蒸馏可能让单一教师的痕迹更难辨认，但曼祺认为这不能帮助向闭源模型厂商隐藏蒸馏行为。
洪浩点出关心的实质：假如 Kimi 或 Qwen 想蒸馏又不想上美国实体清单。曼祺的回答是：“这也算蒸馏的另一种代价——你确实会有一些合规的隐患。要想人不知，除非己莫为。”蒸馏受成本与反制约束，“不太可能无限制、大规模地扩展”。

12. 原罪之辩、判例回旋镖与三年预测

“原罪”这个词太重，曼祺的定性是灰色地带：违反闭源公司用户协议，但“违反用户协议不一定构成法律上的侵权”。她的红线明确：黑客攻击、直接侵入其他公司系统破解思维链，“这种是不太能被接受的”。从业者视角里蒸馏只是众多方法之一——想象一个特别大的控制板，“蒸馏只是其中的一个旋钮”。
双标之辩的展开方式很典型——美国公司说中国公司蒸馏，中国公司说你双标。曼祺承认“整体上来说那肯定是双标的”，但两种行为不完全一样：Anthropic 当年从盗版书网站下书没付钱，被美国作家集体诉讼，目前已达成 15 亿美元和解；而加州法院判例认为，付费买书后用于训练不构成侵权。洪浩抓住的回旋镖是：“那其他公司用 Anthropic 的产出再来提升自己的模型，是否构成侵权？”曼祺回应：“这个案例挺有意思。”
三年预测被当场拒绝：“这个行业可能没法看三年之后的，三十六个月，感觉人间已经变了。”能确定的是博弈持续——你有手段、我反制、再找新手段；蒸馏有很多现实约束，“不太可能肆无忌惮地蔓延，大家也会考虑成本的”。

13. 比蒸馏更大的问题：斩杀线之下，智能的供给已跑赢需求？

对 frontier 商业模式的冲击，曼祺提醒别只看切面：短期市场预期可能是 Anthropic 和 OpenAI 估值受影响，甚至有人认为会冲击它们的 IPO 进程；但马斯克在 Grok 4.6 发布后回复另一家公司推文时说 Grok 4.7 会超过现在所有模型，也补了句“Anthropic 的下一个模型可能会非常强”——闭源公司“可能有一些后手没有展示”，“现在就是各领风骚几个月”，拉到半年维度 Anthropic 和 OpenAI 曾持续领先数月。
后发靠蒸馏紧跟是否就够？曼祺给出一种假设：如果自进化到一定程度、用更多 AI 优化 AI，加速度会越来越大，“可能会把后面的人甩得更远”，届时几周几个月的时间差就没这么容易缩短——“不能满足于说我跟他跟得很紧就 OK 了”。
洪浩认为商业逻辑确实被冲击：那张著名的“斩杀线”图上，V4 和 Grok 4.6 下方、右侧的模型都被斩杀，至少会改变定价策略。一位生产力应用创始人告诉洪浩，用户“十个任务里面八个都能被 DeepSeek V4 Flash 解决”——当时 Pro 还没正式发，Flash 便宜且快。
收尾指向比蒸馏更大的问题：智能供需的规模与节奏。一位投资人朋友在想“我们之前都说 coding 比视频生成大，万一错了呢”——很多白领工作对智能过线后就够用，“杀鸡焉用牛刀”“屠龙刀”。曼祺自己的摇摆是：用 ChatGPT Codex 后一度上头、能干很多以前干不了的事，冷却后发现手搓工具的频率会降下来，“对更复杂任务的需求也会降下来”。

Uber总裁MacDonald谈AI预算、自动驾驶生死与外卖之战卓越，就是承受痛苦的能力 | Travis Kalanick，Uber 创始人