第017期 - DeepSeek V4 与 Huawei Ascend NPU 性能（InferenceX）| Kimbo Chen、Cam Quilici、Bryan Shan、Jordan Nanos
摘要
DeepSeek V4 改变的是推理工作负载，而不只是模型权重。 其 100万 token 上下文结合了压缩稀疏注意力、高度压缩注意力、embedding compressor 和滑动窗口，相比标准 MOA 模型将 KV-cache 使用量降低约 100X；总参数量也高于 V3，但激活参数更少。Kimbo Chen 称这些是“非常激进的创新”。
“首日支持”只是起跑线，不等于可用的峰值性能。 vLLM 和 SGLang 在 NDA 下获得了提前访问权限，NVIDIA 则没有；V4 Pro 更换 mHC 维度后，NVIDIA 初期出现卡顿；AMD 起步时仅支持 FP8，尚无原生 FP4。将 Torch fallback 替换为 AITER 或 Triton，再叠加一系列小幅改进，可以提升端点承载能力和经济性。
MegaMoE 宣称的 1.5-1.73X 加速，来自把 kernel 边界视为可协商对象。 它避免寄存器与 HBM 之间的数据往返，并在一个 megakernel 内让通信与计算重叠，从而“激进地降低延迟”。代价是显著的工程复杂度和内存压力；当超大训练 batch 已经隐藏了启动与通信开销时，收益也会下降。
vLLM 与 SGLang 的竞争是有益的基础设施竞争，而不是你死我活的跑分赛。 InferenceX 避免把每项结果都变成 runtime 之争，但 Cam Quilici 的结论仍是“TL;DR，竞争是好事”：每种实现都会迫使优化加速，而两个后端也能在优先级或支持方向出现分歧时，为实验室、推理服务商和下游 RL 库提供选择。
Huawei Ascend 已从纸面宣称走向可验证的 DeepSeek V4 性能。 Bryan Shan 称发布时的性能 profile“非常优雅”、kernel 也很复杂，这意味着 Huawei 可能比 vLLM 或 SGLang 提前更久拿到架构访问权限并进行优化。CANN 代码开源且可在 GitCode 上直接阅读；Bryan 还称赞其文档、技术 meetup，以及他所说的与工程师每周通话。Jordan 则将其与闭源专有库 TensorRT-LLM/Dynamo 和 AITER/Mori 对比。关于 Huawei 优化是否导致 V4 延迟发布的相互矛盾传闻仍未解决，但“V4 发布时在 Huawei 上的性能是真实的”。
DeepSeek V4 Pro 首发时的 75% 折扣如果最终永久化，可能意味着优化收益，也可能意味着中国市场的激进份额争夺。 Kimbo 将低价与 HCCL、MC² 等中国系统工程的积累联系起来，也怀疑发布后仍有进一步优化；他表示，在字节跳动占据多数份额的市场里，DeepSeek 可能以“很可能是负毛利，至少也是零毛利”的方式定价。
InferenceX 正从合成芯片测试，转向观察真实智能体系统的行为。 当前 8K/1K 与 1K/1K 固定长度测试主要隔离出“基本纯粹的芯片性能”，但无法检验 100万 token 的承诺或现实中的缓存行为。计划中的 AgentX 将使用内部 Claude Code trace，并比较 Dynamo、KV block 管理和 prefill-decode 解耦，因为“推理是一个系统问题”。
精读
1. V4 通过压缩 KV-cache 流量拿下 100万 token 上下文
Kimbo 提到的核心变化是 100万 token 上下文和 MegaMoE。Jordan Nanos 补充称，V4 的总参数量更多，但激活参数少于 V3；它“本质上是一个不同的模型，而不只是更新了权重”。
压缩稀疏注意力和高度压缩注意力都建立在 DeepSeek Sparse Attention 之上，后者随 3.2 一同发布。将 query 对 key/value 的访问稀疏化，可以减少内存读取；额外的 embedding compressor 会缩小每条 KV-cache 的大小，滑动窗口则进一步削减用量——合计相比标准 MOA 模型“降低约 100X”。
Cam 询问，V4 是否天然更偏好 GPGPU，而不是 TPU 式脉动阵列。Kimbo 否定了这一宽泛前提：tensor core 和脉动阵列都能加速矩阵乘法，MegaMoE 的 kernel 启动方式才是更明确针对 GPU 的特性。
Bryan 从首日支持中得到的教训是：过去被当作常量的维度也可能变化。V4 Pro 相比 V4 Flash 和早期 V3 迭代采用了新的 mHC 维度，导致 NVIDIA 初期出现卡顿；vLLM 和 SGLang 获得了 NDA 下的提前访问权限，而 NVIDIA 显然没有。
2. MegaMoE 以工程复杂度换取更低延迟
Kimbo 区分了 megakernel 与普通算子融合：前者打破“典型的 kernel 边界”，避免数据在寄存器和 HBM 之间往返，并在资源释放后立即启动后续操作，同时合并计算与通信，实现激进的重叠。
DeepSeek 开源的 megakernel 已在 NVIDIA GPU 和 Huawei Ascend NPU 上得到验证，宣称带来 1.5-1.73X 的提升。但即便 CUDA 代码公开，也不意味着 vLLM、SGLang 或 TensorRT-LLM 能在第 1 天直接受益。
Hazy Research 将整个 Llama 8B 模型融合进单个 kernel 的极端案例，展示了技术上限，也解释了它为何罕见。Megakernel“需要大量工程工作”；当每个 batch 包含数亿训练 token 时，kernel 启动时间可能已经无关紧要，而激进的内存分配还会增加内存占用，并可能带来热压力。
3. 性能来自 runtime 工作的持续叠加
文章的时间序列显示，随着支持范围扩大，更多硬件陆续上线，包括 B200、B300、GB200、GB300 和 MI355。AMD 提供了一个清晰的追赶案例：首日支持仅限 FP8，没有原生 FP4。FP4 提升了计算速度、减少了传输内存，而 SGLang 的大幅跃升主要来自用 AITER 或 Triton kernel 替换 Torch fallback。
Cam 将真实曲线概括为“艰苦工作、微小迭代，每次提升 5% 的吞吐量”。经过 1-2个月，runtime 会从 PyTorch fallback 走向定制 kernel，再逐步换成更好的 kernel；他表示，MiniMax-M3 也正在经历同样的演进。
InferenceX 通常将 vLLM 和 SGLang 分开展示，因为直接对决并不总有意义，重复提交还会消耗稀缺的 CI 算力。但 Cam 仍承认，“有一点竞争是好事”，因为两个社区都会因此加快迭代。
Cam 将 TensorRT-LLM 和 AITER 定义为面向特定架构、速度很快但可移植性较弱、且不总是完全开放的方案；相比之下，vLLM 和 SGLang 可 fork、对用户友好，并提供 OpenAI API 规范。Bryan 表示，InferenceX 的 benchmark 免责声明注明 AITER 没有客户；Mori 已明显好于此前的 fork，但 AITER 仍需补上与 SGLang 在社区开发上的差距。
Kimbo 追溯称，两个项目都源自同一个 Berkeley 实验室，并承认双方阵营都指责对方“复制粘贴了我们的代码”。Jordan 反驳称，两者继续分立已不只是历史遗留：客户和下游 RL 库需要在功能优先级、代码合并、厂商关系和支持服务之间拥有选择。
4. Huawei 软件栈已有可信的模型性能证据
Bryan 将传闻与证据分开处理：V4 多次延期，外界说法包括等待 Huawei 优化或进行更好的评测，但他没有裁定争议。发布时的证据显示，“V4 在 Huawei 上的性能是真实的”，并有基准测试和复杂的性能 profile 支撑。其质量表明，Huawei 可能比 vLLM 或 SGLang 提前更久获得架构访问权限并进行优化。
CANN 的实现可在 GitCode 上阅读。Bryan 称赞其文档、频繁举办的 meetup，以及他所说的与工程师每周通话；Jordan 则将其开源代码与闭源专有的 TensorRT-LLM/Dynamo 和 AITER/Mori 库作对比。
Bryan 还表示，“如果我没记错”，Huawei 在 NCCL 大约于 2024 年发布前就实现了通信与计算融合，而且是在相关论文发表后不久。他称中国开发者的速度达到“10X”，并认为中国开源生态会进一步推动这一速度。
Kimbo 将 Ascend 对 Z.AI 的 GLM 和 DeepSeek V4 的支持，联系到 HCCL、MC² 以及激进优化等国内系统工作的持续积累。他怀疑首发时 75% 的折扣永久化，既反映了进一步优化，也反映了市场份额争夺；在这场竞争中，DeepSeek 可能处于“很可能是负毛利，至少也是零毛利”的状态。
5. AgentX 将测试系统，而不是孤立芯片
Cam 称当前 8K/1K 和 1K/1K 固定序列长度测试是“没人会使用”的配置，但仍为其辩护，认为它们在不启用 prefix caching 的情况下衡量了“基本纯粹的芯片性能”。100万 token 模型要求测试向更高层迁移，因为“推理是一个系统问题”。
AgentX 计划重放内部真实的 Claude Code trace，并比较 Dynamo、不同 KV Block Manager 方案，以及 prefill-decode 解耦。Cam 预计它会在“接下来几周”推出，届时还有几款新芯片已经在测试管线中。
Jordan 还将 RL 系统性能列为后续议题：更快的推理 runtime 很重要，但要让完整 RL 系统跑好，“还有更多工作”。