第038期：GLM 5.3 是来自中国的 Mythos 级网络安全模型吗？（InferenceX）
摘要
- GLM-5.3 的效率提升，并不直接构成内存需求走弱的看空信号。 Kimbo强调，稀疏注意力缓解带宽压力，却无法消除 KV cache 的容量需求：“相关上下文里的所有 token 仍然都得保留。”HiSparse在 HBM 和 DRAM 之间迁移缓存，以支持更高并发；Jordan预计，推理服务成本下降，长期将带来“更多 HBM 和更多带宽”。
- GLM-5.3 发布数周后，AMD MI355 已在推理成本上向 NVIDIA 发起挑战。 Wenyao称，单用户速度达到每秒150 token时，成本大致追平 B200；Jordan还提到，MI355 单用户速度达到每秒100 token时的吞吐表现。InferenceX数据显示，“红色 AMD 曲线反超绿色 Nvidia 曲线”，随后 NVIDIA 又提升了表现——推理引擎优化由此成为不断变化的竞争变量。
- 极低延迟与总吞吐最大化，背后的经济账并不相同。 TailRT通过解码 megakernel，在 batch size 为1时速度最高可达每秒470 token，但无法服务大 batch。Kimbo认为，在这一场景下，内存带宽“最重要”；Wenyao则说自己不用超高速模式：“太贵了。”
- GLM-5.3 能力跃升，据称来自后训练，而不是更大的基础模型。 Wenyao称，智能体基准提升超过10%；Kimbo认为，GLM-5.2 到 GLM-5.3 在网络安全能力上的变化“判若云泥”。Jordan称 GLM-5.3 是“前沿网络安全模型”，依据是他在 CVP 威胁攻防演练工作中遇到 Anthropic 和 OpenAI 拒答，随后转而使用 GLM-5.3。Kimbo认为它“肯定不是 Mythos 级”，但暂时将其归为接近 Fable 的水平。
- Z.ai 的优势或许不只在新算法，也在研究推进速度。 Jordan提出，常见后训练方法并非独家优势；在相同算力下，以更低成本跑更多实验，也能形成优势。Kimbo提到基于 critic 的 SAO 训练和 SLIME，称后者“可以说是设计最好的”框架之一；不过，他也提醒，GLM-5 之后尚未发布详细技术报告。
- 中国芯片部署是公开说法；针对特定供应商做优化仍只是推测。 GLM-5 论文称模型首日即可适配7个国产平台；Z.ai则称 OxAlpha/GLM-5.3 Flash 完全运行在中国硬件上——Kimbo对此的前提是“假设大家都诚实”。他估算的约120算术强度大致与 Moore Threads 芯片相符，但明确表示，这既不能证明模型针对这些芯片做了优化，也不能证明实际部署情况。
- 下一轮提升或来自混合注意力扩展，或来自针对专门工作流的后训练。 Kimbo称 GLM-5.3 Flash“简直像个弗兰肯斯坦模型”，将 DSA 与 Kimi Delta Attention 结合；他猜测，把这种混合架构扩展到 GLM-5.3 的规模，可能带来进一步提升。Wenyao设想的企业路径，则是在专有数据上做后训练，而不是出资从头预训练。
精读
1. 稀疏注意力缓解带宽压力，但不解决缓存容量
- Kimbo Chen的区分是：线性注意力改变注意力算法，稀疏注意力则保留原有算法，同时筛选最相关的 token。从 GLM-5 起，Z.ai 使用 DeepSeek Sparse Attention；这项技术随 DeepSeek-V3.2 推出，由 Lightning Indexer 为基于 Multi-Head Latent Attention 的注意力机制筛选 token。Kimbo认为，百万 token 级会话无法采用 dense attention；Jordan则强调，效率是以合理成本服务这类会话的关键。
- Kimbo不认同稀疏注意力解决了 KV cache 容量问题：相关上下文中的“所有 token 仍然都得保留”。HiSparse 是 HiCache 的稀疏注意力版本，它将缓存从 HBM 卸载到容量更大、带宽更低的 DRAM，再把相关部分调回。带宽节省与容量扩展，是两种不同机制。
- Wenyao Gao以 B200 为例，展示了并发度为8和16时，主机内存占比存在显著差异。B200每颗芯片的内存少于 B300，因此这一影响在 B200 上更明显。回想 DeepSeek V3 和 R1 发布前后的内存股抛售，Jordan认为，效率提升会让更多用户用上服务，并不必然减少内存需求。他对杰文斯悖论的判断是：“会需要更多 HBM 和更多带宽。”
2. 服务软件改变成本曲线，AMD 正在追赶
- Wenyao称，NVIDIA 在发布初期领先；数周内，AMD 已能在单用户速度达到每秒150 token时，把成本降到大致与 B200 持平。Jordan纠正了时间线：GLM-5.3 是8月初推出，不是10月；他还提到 MI355 单用户速度达到每秒100 token时的吞吐表现。InferenceX 的历史曲线显示，“红色 AMD 曲线反超绿色 Nvidia 曲线”，随后 NVIDIA 又提升了表现。
- Jordan指出，峰值效率约为每1美元总拥有成本（TCO）对应4500万 token。Wenyao解释，芯片的固定能力是一回事，推理引擎的开发又是另一回事：AMD 工程师“连夜奋战”，反复优化软件，追上许多 NVIDIA 芯片的每百万 token 成本。
- Wenyao以低延迟场景举例，谈到 TailRT：解码 megakernel 降低了启动开销，在 batch size 为1时速度最高可达每秒470 token，但无法服务大 batch。将数据卸载到 DRAM 会增加延迟，尤其影响尾延迟。他用 Jane Street 希望在几秒内拿到答案的需求，对比自己的日常智能体任务：“我可以等，只要成本可承受，就尽量把输出做大。”
- Jordan将这一取舍与外界讨论的 Rubin Ultra 配置联系起来：每 GPU 的容量从1 TB降至192，同时保留带宽。Kimbo认为，这体现了对带宽的优先考虑：在极低延迟场景里，“你拼的是加载模型的速度”。容量仍然重要，但缓存、网络，以及让数据传输与计算重叠，都能缓解容量短缺。
3. 后训练带来能力跃升，技术披露仍有限
- Jordan称 GLM-5.3 是“前沿网络安全模型”，依据是他在 CVP 威胁攻防演练工作中遇到 Anthropic 和 OpenAI 模型拒答；他表示自己转而使用 GLM-5.3，并指出其权重可以下载。Kimbo反对最强的那种比较：“从技术上说，它肯定不是 Mythos 级。”他暂时认为其接近 Fable 水平，但不确定 Anthropic 对这一等级的确切称呼。
- Wenyao称这次发布是一次“警钟”：智能体基准提升超过10%，靠的是后训练，而不是重新进行预训练。Kimbo形容 GLM-5.2 和 GLM-5.3 在网络安全能力上的差异“判若云泥”。在他们看来，这说明不扩大模型规模，也能通过后训练大幅提升能力。
- Kimbo介绍，第一阶段采用同步 GRPO，优先保证稳定性。智能体任务序列更长，奖励信号可能被稀释，因此第二阶段改用更接近 REINFORCE 的变体，容忍策略滞后。这样一来，团队可以使用较旧或最新的策略，无须大量计算重要性比率和策略滞后。
- Kimbo还提到一种 PPO 风格的训练方法：由 critic 为 rollout 打分，并与 actor 同步训练，即 Single-Rollout Asynchronous Optimization（SAO）。但有一点需要注意：GLM-5 之后，团队没有发布详细技术报告；Kimbo的说法综合了研究人员交流、公开公告和已发表研究。
- Jordan质疑，常见算法是否足以构成独特优势；Kimbo起初也认同这些方法并非 Z.ai 独有。Jordan随后指出，在相同算力下，效率本身就能让团队跑更多实验、开展更多研究任务。Kimbo称 SAO 是一项明确创新，并认为 SLIME“可以说是设计最好的后训练框架之一，甚至可能就是最好”。
4. 中国芯片部署有公开说法；供应商定向协同设计尚未证实
- Jordan援引 GLM-5 论文的说法：模型“从第一天起”就实现了“面向中国 GPU 生态的全栈适配”，覆盖从内核到推理框架的7个平台，分别是 Huawei Ascend、Moore Threads、Hygon、Cambricon、Kunlunxin、MetaX 和 Enflame。他的重点是，基础设施优化不一定要围绕 NVIDIA 或 AMD 展开。
- Kimbo补充，Z.ai公开称，以 OxAlpha 为名的 GLM-5.3 Flash 完全运行在中国硬件上。他回忆，有测试认为 OxAlpha 已经服务了“差不多100万亿 token”，这一数字让人怀疑中国实验室能否用 GPU 承载如此规模。Jordan称 OxAlpha 于8月20日出现在 OpenRouter 上。Kimbo明确加上前提：“假设大家都诚实”；但他认为，Z.ai 已经解决了足够多的内核和系统障碍，能够高效提供服务。
- Kimbo估算，GLM-5.x 解码阶段的算术强度约为120。DeepSeek 曾针对 H800 做模型适配；他估算 GLM 的配置似乎更适合 Moore Threads GPU。他认为，GLM 的配置对 B200 或 H200 并非最优：模型可能面向其他硬件，也可能出于未披露的原因，牺牲了软硬件协同优化。他称 Moore Threads 的说法是“阴谋论”：这一计算既不能证明模型针对这些芯片做了优化，也不能证明模型实际部署在这些芯片上。
- Kimbo还提到，Z.ai称模型曾帮助陌生的非 GPU 硬件调通并验证 GPU 内核，同时监控任务运行，以提升系统效率。Wenyao认为，只要有合适的执行框架、工具和足够预算，智能体写出的内核可以比人类更快。被问到 AMD 的 TileRT megakernel 花了多少 token 时，Kimbo回答：“说实话，我不太清楚。”
5. 下一轮提升或来自混合架构与专有数据
- Kimbo猜测，Z.ai 很可能会在后续 GLM-5.x 版本中沿用现有架构，例如 GLM-5.4；另一条路径则是 GLM-5.3 Flash。后者“简直像个弗兰肯斯坦模型”，将 DSA 与 Kimi Delta Attention 混在一起。他猜测，Z.ai 可以把这种混合架构扩展到 GLM-5.3 的规模，并进一步提升性能或能力。
- Kimbo称，GLM-5.3 于8月初推出，GLM-5.3 Flash 则在8月下旬发布；他估计 Flash 可能只训练了2到3个月，其中2个月是较激进的估算。他还指出，在 Kimi K3 于7月中旬推出之前，押注 KDA 就是一笔重注。
- Wenyao认为，在专有数据上做后训练，可以改善特定工作流，不必出资从头预训练；他举例提到 Harvey 基于 Kimi 的智能体，以及 Periodic Labs 的 AI for Science 工作。他还设想，市场上会同时存在2万亿或3万亿参数的大模型，以及高效、“够用”的模型，企业用后者时无需担心成本。
- 仍未解开的变量是人力投入。Kimbo称，Z.ai曾在 GLM-5.2 和 GLM-5.3 的讨论中提到“大量人力”，但没有说明具体做什么。他“相当确定”这指的是标注；至于标注类型和投入细节，仍然没有答案。