推理已成为新的训练——Philip Kiely 与 Ali Taha，Basten

摘要

• 推理仍是一个处于早期、价差极大的优化市场。 swyx 将当前推理优化的巨大收益类比于量化金融：后者的价差已从1970年代约20%的差异收窄至极小比例。一个1万亿参数模型，在未优化的技术栈上可能只有每秒30–40个token，但在硬件条件理想、配合缓存、量化、投机解码和针对延迟调优的流量后，可能达到300–400个；不过，在相同硬件上的更干净结论是 2–4X，4–6X比激进的10X headline更常见。

• 真正的生产护城河，始于模型吐出第一个token之后。 Day-zero服务需要架构支持、NVFP4量化与校准、训练好的投机模型、基础设施集成、按流量特征调优，以及数周的真实环境调试。“支持这个模型，可以是我能从它生成一个token；也可以是我拥有一个生产就绪的API。”

• 优化正在同时变成训练问题和系统问题。 量化感知后训练、logit蒸馏、针对流量的投机解码器，甚至替换低效模型层，都能实质性改善服务效率。讨论中最有力的表述是：“要实现快速推理，就需要非常好的训练”；反过来，缓慢的rollout也会卡住强化学习流程，把训练推向off-policy。

• 这套技术栈的经济交接点，是serverless转向专用部署。 按token付费的API让模型试用几乎没有摩擦，但每小时消耗数百万token的客户，租用容量并自行打满，通常更省钱。专用endpoint还提供可靠性、隔离能力——不会被另一个租户发送的1亿token benchmark拖累——以及定制化的延迟-吞吐设置、指定精度和针对流量的投机解码。

• 下一轮收益中，硬件互联可能比kernel更重要。 Philip Kiely看空mega-kernel，因为生产级库可以更好地优化并重叠多个小kernel；Rubin的讨论则指向tile和系统层面更多的编排。Ali认为下一前沿的“无聊答案”是更快的NIC：如果消除今天KV cache搬运的两阶段流程，在理论最佳情况下，分离式解码速度可能提升接近 100X。

• 开放视频推理首先受模型质量约束，而不是价格约束。 Ali表示，一部$10的开放模型电影仍可能输给$1,000的闭源模型结果，因为Wan 2.2与Kling或Veo之间仍是“天壤之别”。480p、16 FPS的5秒视频，在压缩后约有 35,000个latent token，之后还要面对二次注意力；稀疏注意力会损害质量，而当前自回归视频质量很差，拼接扩散片段也会出现明显漂移。

• 推理已经开始优化自身。 一个Claude Code harness中的GLM-4.5 endpoint被用来检查profiling trace、定位SGLang瓶颈、为GLM-5.2编写替代GPU kernel、重新profiling，并打包最终image。因此，在这套循环的驱动下，为GLM-5.2提供服务的部分kernel实际上由GLM-4.5编写。需要强调的是，模型仍会reward-hack并做出糟糕决策，但从实时推理到后训练、A/B测试和部署的闭环，已经从研究构想走向生产架构。

精读

1. 20万token请求首先是路由问题

• Philip开场问的是复用问题：“你之前把这个query发给我了吗？”缓存感知路由会寻找一台拥有可用prefill worker且缓存了部分输入的副本，从而可能避免对这条20万token prompt的大部分内容重复计算。

• 如果缓存未命中，prefill与decode就会分离：一组GPU处理输入、生成KV cache并产出第一个token；另一组GPU接收这份状态，逐步解码答案。编程和多轮agent prompt最可能从前缀复用中受益。

• 随后，投机解码器先草拟可能的token，再交给完整模型验证。Philip预计，在编程特征明显的流量上接受率会很高；但如果请求是总结每一本Harry Potter，“就会更慢”，因为草拟模型的假设不再匹配。

• 商业路径由利用率决定：先用按token付费的API试用，再升级到专用部署。Ali表示，每小时数百万token的用量通常按整机租用更便宜；Philip补充，专用部署还带来可靠性、自定义并行度、精度和batch size，以及不受其他租户1亿token benchmark突发流量影响的自由。

2. 工具调用是受约束的文本，不是模型自主性

• Ali认为难点在于后训练的保真度。训练不佳或量化后的模型可能错误处理JSON终止符，同时输出推理和工具调用，无法读取工具结果，最后“在解码过程中直接把结果幻觉出来”。

• Philip在推理侧的防护是结构化输出状态机，将生成限制在指定语法内。它能保证语法结构，但“解决不了确定性问题”：模型仍可能选错工具，或者决定不调用工具。

• MCP没有改变底层机制。Ali的表述很绝对：“LLM实际上什么都做不了。”它只能以某种已被识别的格式提出行动建议；真正执行的，是理解这份建议的外部系统。

3. JSON得以存活，是因为周边软件已经在使用它

• Ali原本预计JSON会被替代，因为不完整的流还无法验证：开放括号、闭合括号以及完整对象都很重要。TOML或YAML风格的替代方案出现过，但JSON仍保持主导地位。

• 讨论指出，中位数工具调用都很短且高度模式化，因此非常适合投机解码；流式传输的边际收益可能有限。较长的工具参数可能打破这一假设。

• swyx给出更难的样本：结构化写作输出可能在每个字段中都包含段落，包括事实、观点、摘要、日期、实体和来源。讨论还指出，格式往往由客户界面决定；让企业围绕模型重写工具，远不如训练模型输出企业现有的JSON现实。

4. Day-zero模型支持远不只是产出一个token

• Philip区分了“我能生成一个token”和“一个生产就绪的API”。开源引擎和模型实验室往往能快速完成基础架构支持，有时还会使用预发布权重，但每家供应商仍需接入自己的runtime、编排和基础设施层。

• 新checkpoint需要针对目标服务环境重新进行NVFP4量化和校准，即使架构几乎没有变化。Baseten还会用公开的编程和agent数据集训练通用投机解码器；由于其API采用零数据保留策略，它知道哪些工作负载类别受欢迎，但不会使用客户prompt。

• 现有投机模型需要由完整基础模型生成的hidden state，因此原始权重会进入训练环节。加载这些artifact、搭建服务基础设施、测试并调优完整链路，都会把一个名义上兼容的checkpoint变成大量运营工作。

5. 开放组件可以嫁接成更好的组合模型

• Baseten的一项研究改造，是把Kimi的vision encoder接到GLM-5.2上，只训练冻结“眼睛”和冻结“大脑”之间的小型projector。不改动语言模型权重，可以保留GLM-5.2在没有图像输入时原有的文本行为。

• 仅用caption训练很快撞上学习瓶颈；换成反复提问图像后，模型出现了明显的“grokking”。即使模型把Stephen Hawking误认成Albert Einstein，Ali仍认为它学到了更宽泛的概念：一个“具有重大影响力的男性科学家”，而不只是模仿caption的token序列。

• 讨论给出的MMLU-Pro成绩约为56%，并明确把它视为研究项目，而不是前沿视觉模型。架构拼接才是重点：“Kimi-VL、GLM权重和DeepSeek attention全在一个模型里”——这是开源把单一实验室未曾同时提供的组件组合起来的例子。

• 层移植仍然可行。讨论描述了将MiniMax-M3中的一个full-attention层替换为GQA层，以降低二次缓存和decode成本，再通过重新训练恢复接受率：“要实现快速推理，就需要非常好的训练。”

6. 生产流量会暴露benchmark看不到的故障

• GLM-5.2曾在特定prompt和temperature下短暂出现模型崩溃，反复输出同一个token。Baseten的endpoint会在检测到连续4个相同token后停止生成，并重试或重新处理请求，同时豁免部分可能代表合法表格格式的特殊字符。

• 最令人印象深刻的故障是“SSSSSS”，即使在temperature 0.9附近也能观察到。讨论认为，这通常是推理软件问题，而不是权重损坏：相同权重可能在SGLang中循环、在vLLM中不循环，或者在NVIDIA image上游的runtime变更后停止循环。

• 最深层的bug会跨越软件与硬件。更慢的节点间互联可能暴露某个kernel race，而另一座集群完全不会出现；缺少同步barrier则可能让线程在写入完成前读取register。因此，即使temperature zero也并非完全确定，一些模型只能暂时限制在不会触发该故障的集群上。

7. 质量意味着忠实于原始模型

• Philip把优化分为基本无损的机制——KV cache和token验证——以及主要的有损环节：量化。量化结果取决于数据格式、被量化的层，以及能保留outlier的校准方式。

• 在他的推理定义中，质量不是“让模型变得更聪明”，而是让实现尽可能接近golden implementation、达到100%保真。供应商可以同时提供full-context和shorter-context endpoint，因为不需要100万token窗口的用户，可以在不改变底层模型智能水平的情况下获得更好性能。

• Kimi的供应商benchmark体现了真实的声誉外部性：如果供应商提供了糟糕的量化，客户会得出“Kimi很差”，而不是“Amazon把模型量化坏了”。因此，模型实验室有动力审查第三方服务的保真度。

• 对于inverse scaling问题，答案很窄：量化后的benchmark可能高出几个基点，但那属于噪音。量化改善的是速度；工程目标仍是匹配full-precision的概率分布，而不是宣称模型更聪明。

8. 更多量化有时反而能在误差抵消下保留更多保真度

• Ali介绍的研究显示，量化损伤并不会随着量化层数增加而单调恶化。量化第1、5、10层，可能优于只量化第1、2层，因为一层向右的误差可能抵消另一层向左的误差。

• 这套方法会预测哪些误差能够抵消，再选择相应层。Baseten表示，其GLM-5.2结果比NVIDIA的量化程度高20%，吞吐量也因此提高约20%，同时仍比竞争方案更接近原始模型。

• 团队没有只依赖下游benchmark，而是测量量化模型与full-precision模型之间logit分布的KL divergence。Ali认为，如果token概率分布更接近，模型行为就更可能保留原始保真度。

• 这一结果并不意味着量化有助于提升智能，而是推翻了“每增加一层量化，模型就必然变差”这一简单规则。论文最初有72页，发布前才压缩；swyx后来称发布版本为39页。

9. 推理收益仍以倍数出现

• swyx的市场类比，是价差尚未消失前的金融市场：历史差异以几十个百分点计，而现代量化金融的价差已经收窄到极小比例。“当研究人员开始发表自己如何快了1%时，你就会知道推理基本已经解决了。”

• 一个普通的1万亿参数模型，可能只能达到每秒30–50个token；GLM-5.2在没有量化、投机、缓存路由或分离式部署时，可能约为30–40。配合B200级硬件、高缓存命中率、小batch、针对延迟调优的并行度以及强力投机模型，速度可以达到300–400。

• Philip反复压低headline：10X过于激进，4–6X往往更能反映供应商之间的差距；如果归一到相同硬件和GPU数量，优化收益通常是2–4X。用4台B200节点服务此前由1台H100节点承载的工作负载，并不是软件层面的比较。

• 行业还滥用了“每秒token数”这一指标。一个数字代表GPU总吞吐，用户实际感受到的是延迟，更准确的叫法是ITL，即intertoken latency。硬件、负载、prompt形态以及输入输出长度，都会让供应商benchmark极易被误读。

10. 量化、投机和分离式部署构成主技术栈

• 从BF16转向8-bit，再转向NVFP4，每一步大约贡献30–40%，复合后接近2X，而不是字面意义上的翻倍。训练良好的投机解码器还能贡献约2X。

• 在硬件和流量足以支撑时，prefill-decode分离还能再增加2X。新的kernel和更好的runtime随后贡献两位数百分比，把多个单独看起来合理的收益叠加成更大的倍数。

• 对专家而言，为每个模型生成量化权重或训练投机模型，需要数小时到数天；一旦底层平台搭好，增量部署分离式架构也可能只需同样时间。自托管用户通常可以直接下载公开的NVFP4权重，以及现成的投机模型或multi-token-prediction head，从而绕过研究工作。

• Dynamo不是执行一条命令就能安装的魔法优化器。Philip将其描述为“用于在集群中搬运信息的工具包”，负责协调KV感知路由、offload、prefill-decode分离，以及跨推理框架和硬件的数据传输。

11. 投机解码的进展快于教科书

• Philip写Medusa，是为了提供词汇和历史直觉，而不是把它介绍成当前前沿。EAGLE仍然常见，讨论中提到的更新技术包括DFlash和DeSpark；投机解码的发展速度已经超过书中大多数其他主题。

• “投机式投机解码”会在draft model前再加一个更小的预测器。Ali把普通投机解码比作iPhone自动补全：廉价地草拟3个token，再用目标模型一次性验证，避免3次昂贵的自回归计算。

• 这种递归存在物理成本。一个投机模型可能只有约1层，大约是目标模型的六十分之一，或约10亿参数，而且必须与目标模型共享硬件；每增加一个预测器，就会消耗计算、编排资源和推理工程复杂度。

• 停止点是一个概念问题：如果一个小模型能够准确预测那个会预测目标模型的中间模型，为什么不直接把请求路由给这个小模型？讨论认为这已经接近模型路由，而验证机制仍是保留目标模型保真度的关键。

12. 本地推理和数据中心推理优化的是相反约束

• Philip的简洁区分是：本地推理问“如何把模型装进我的硬件，然后让它没那么笨？”数据中心推理问“如何加载这个模型，然后让它没那么慢？”

• 因此，本地实践者在动态量化、剪枝、蒸馏和移除层方面领先。这些技术未必能直接迁移，但Philip欣赏他们的工作方式，也欣赏整个生态的开放性。

• TurboQuant体现了硬件依赖。Ali表示，它能帮助瓶颈在内存带宽的MacBook；但在带宽约为3.5 TB/s的B200上，kernel内量化和反量化的开销可能超过节省下来的带宽。

13. 并行方式由模型形状和互联决定

• 对于batch size为1的本地MoE工作负载，可能只有active parameters重要；但在服务batch中，Philip假设所有expert都会在某处被激活。这会同时改变内存核算和有效的并行策略。

• Expert parallelism把完整expert放在各GPU上，并复制较小的router，从而减少资源争用和通信、提高吞吐。Tensor parallelism则把矩阵切分到多张GPU上，需要频繁执行all-gather和all-reduce，因此NVLink这样的高速互联对延迟至关重要。

• 大多数大型部署会组合使用tensor parallelism和expert parallelism。Pipeline parallelism则把不同层段放在不同节点上，只有在模型无法装进单个节点、而跨节点通信又慢到不适合tensor sharding时才使用。

• 内存算术解释了边界：H100有80 GB，而讨论为B200分配了180 GB；因此8张B200能为FP4权重提供大得多的空间。由于不存在普遍最优的配置，建议在镜像生产流量上自动调优TP/EP组合。

14. Rubin带来了系统层面对mega-kernel的挑战

• Philip明确看空mega-kernel。理论上，把所有操作融合可以减少launch和数据搬运开销；但写出一个优化良好的单体kernel很难，生产团队往往发现，分别调优的CUDA和Modular kernel更快，因为它们能更干净地优化和重叠各个组件。

• 融合无法消除必要的通信。如果一个矩阵的两半位于不同GPU，而下一步非线性操作需要完整行，那么无论kernel如何划分，GPU都必须先交换部分结果。

• Philip把Rubin技术负责人发布的一篇文章视为GPU设计可能降低mega-kernel需求的信号。他更广泛的预测聚焦于NVFP4计算、内存带宽、CPU到GPU和GPU到GPU的链路，以及KV-cache offload、路由和分离式部署。

• 共同结论是，推理工程正在向上移动：从孤立的CUDA工作，转向从kernel一路思考到硬件和分布式基础设施。Alessio Fanelli进一步认为，未来GPU会更像一组可编程的、类似ASIC的单元；Philip则为通用低层工作保留了更多空间。

15. NVIDIA的专用化并没有终结ASIC之争

• Alessio的挑衅是，迭代后的GPU越来越像“可编程的AI ASIC集合”：专用tensor core、脉动结构、tensor-memory操作，以及围绕当前模型维度设计的指令。把权重烧进芯片仍不现实，因为checkpoint会变化。

• swyx用Martin Casado的算术为垂直整合的ASIC辩护：对于一场$500 billion或$1 trillion的训练，如果花费$50 billion打造专用芯片，即使ASIC只带来约10%的效率，也可能划算。

• 反方变量是模型寿命。企业仍保留GPT-4.0和Llama 3时代的工作负载，因为它们已经完成审批、结果可预测，而且每天跑一次batch job就能稳定工作；开放权重不需要维护行动，只要有一张A100即可。“一个有用的模型可以活过一个发布周期。”

• 硬件仍然决定模型规模上限。一个约2.8万亿参数的Kimi checkpoint，在NVFP4下占用约1.4 TB；8张每张288 GB的GB300可以装下它。DeepSeek R1的6710亿参数，同样加速了Blackwell级服务硬件的普及。

16. 视频推理受二次注意力和质量双重阻碍

• 视频模型规模更小、形态也不同：讨论提到Wan 2.2有200亿参数，通常可以在一张GPU上服务请求，不需要LLM那种相同的sharding方式。但开放视频仍远远落后于Kling或Veo，这与语言模型接近闭源水平的情况不同。

• 价格无法弥补巨大的质量差距。即使优化后的开放模型能以$10而不是$1,000生成一部3小时电影，Ali预计传媒公司仍会选择闭源模型。Wan 2.7继续闭源、开放用户停留在Wan 2.2，则进一步强化了低需求、低投入的循环。

• 5秒、16 FPS、480×720分辨率的视频会产生81帧；经过latent压缩后，Ali估算约为30 × 50 × 21，即35,000个token。完整注意力是二次复杂度，因此把片段从5秒延长到数分钟，计算成本会迅速变得不可承受。

• 稀疏注意力可以把每个token限制在最相关的top 12.5%，利用空间和时间局部性，但Ali表示质量仍会受损。替代方案要么是规模巨大的full-attention计算，要么是目前质量还无法匹敌扩散模型的自回归架构。

17. 自回归可能延长视频，但扩散模型保留连贯性

• 自回归视频可以在观众观看时逐帧生成，并继承LLM的投机解码技术。但Ali给出的当前判断是：每一个开源自回归视频模型都很糟糕，输出更接近劣化版Tom and Jerry，而不是Wan 2.2。

• 当前系统会把5秒或7秒的扩散片段拼接起来。把上一段的最后一帧输入下一次image-to-video生成，会产生累积漂移：一段稍微变暗，下一段又更暗，最终25秒视频可能以黑屏收尾。

• 讨论解释了架构取舍：因果注意力只能向前移动，而扩散模型会反复关注整个序列，可以修改过去来让未来保持连贯。讨论预计，未来会出现混合自回归与扩散的系统，在各自擅长的环节使用对应机制。

• 语音已经适合自回归路径：LLM输出代表波形的词汇token，并以流式方式生成。整体版图中，文本、embedding和语音位于这一侧；图像和视频仍主要属于扩散模型，音乐和更新的图像混合架构处于争议中间地带。

18. 训练与推理正在成为一个反馈系统

• 推理速度慢会拖慢强化学习rollout；等待本身能避免它们过快偏离off-policy，因此服务引擎会成为训练瓶颈。反过来，推理也需要训练针对流量的投机模型、EAGLE风格的head，以及为低精度执行做过强化的模型。

• 当后训练量化到NVFP4损害质量时，团队可以采用SFT、量化感知训练，或在full-precision teacher与NVFP4 student之间进行logit蒸馏。Ali的结论既是技术性的，也是组织性的：推理工程师越来越需要熟练编写训练pipeline。

• 提议的生产闭环是持续运行的：收集产品trace、后训练、部署、A/B测试、获取更好的信号，再重复这一流程。在路由、服务参数和投机解码器上，动态调整胜过静态配置。

• 具体的递归例子，是Claude Code harness中的GLM-4.5 endpoint驱动GLM-5.2的profiling和kernel编写。它检查SGLang trace、定位瓶颈、编写kernel、重新运行trace并打包image；因此，为GLM-5.2服务的部分kernel由GLM-4.5编写。需要注意的是，当前模型仍会reward-hack，并做出糟糕的运营决策。

19. 下一前沿是更快的网络和持久化记忆

• Philip预计，模型规模会继续扩大，模态会继续增加，语音agent等多模型系统会变得常见，全球token需求还会出现多个进一步的10X增长。长尾可靠性以及3到5个模型之间的协同，会与任何单一kernel同等重要。

• Ali认为杠杆最大的方向是更快的NIC。KV cache目前要先经过一个内存位置，在节点间移动后才能到达GPU内存；相对于约4.5 TB/s的HBM带宽，网络通信慢了几个数量级。直接实现类似HBM的传输，理论上可以让分离式decode快近100X。

• 对于持续学习，Ali将持续拉取更新权重，与把经验保存在压缩后的KV cache中进行对比；Shawn还提出了仅更新LoRA的方案。权重编辑不擅长处理一跳事实：教会模型“Waterloo是最好的大学”，并不能可靠改变它对“哪所大学应该提供实习生”的推导答案。

• 在与Charlie争论后，Ali表示自己改变了想法：近乎无限、无损失保真的KV压缩是更强的路径，因为模型可以基于保留下来的经验进行推理，而不是简单覆盖一个事实。服务机制仍然清晰可辨——更新KV状态，而不是不断改动权重。