第030期——低堆之王万岁：4-high HBM为何胜出（内存）

摘要

• Rubin Ultra如今已从GTC预告的1TB HBM4E，转为192GB的8-high HBM4，低于Blackwell Ultra和标准版Rubin的288GB。 Myron Xie称，主因是供应配给：NVIDIA以及Google、Broadcom等客户在TSMC锁定的逻辑芯片产能，多于其12-high HBM供给能够配套的数量，因此改用8-high堆栈可以出货更多加速器。Jordan Nanos指出，据他跟踪NVIDIA的经历，这是旗舰产品首次出现内存容量低于前代的情况。
• 经济核心在于：每个cube的HBM带宽基本固定，但供应商按容量收费，因此只要容量够用，4-high就是单位带宽成本最优的配置。 4层DRAM就能吃满cube接口，因此在相同带宽下，8-high或12-high的成本几乎是前者的2倍或3倍。“如果你真正需要的只是这份带宽，而4-high的容量已经够用，只为4-high付费几乎就是白捡。”
• 容量压力明显减轻，因为参数规模并没有像预期那样激进扩张。 Xie将FP8下的Llama 3.1 405B与Kimi K3作比较：前者约占Hopper HGX节点640GB容量的60%，后者拥有2.88万亿参数，他形容规模略高于前者的6倍，但经过MXFP4量化后，只占GB200 NVL72总HBM容量约8%。部署规模的增长远快于参数量，Rubin Ultra的NVL576又带来额外8倍扩展。与此同时，对带宽更敏感的后训练和标准推理，如今在前沿实验室算力中的占比更高，而传统预训练的占比已经下降。
• 4-high可让可出货的cube数量大约达到8-high的2倍、超过12-high的2倍。 每层的良率损失会随着堆叠高度累积，4颗die的堆栈也更容易完成供电。因此瓶颈会转向先进制程逻辑芯片、基板和电力。HBM需求下降还会释放原本被挪用于HBM的DRAM晶圆，回流到常规服务器DRAM；在服务器socket普遍降配、而负责工具调用的CPU若没有足够内存就可能利用率偏低之际，这一点尤其重要。Nanos将4-high概括为最大化“每片HBM晶圆对应的token数”，类似于每瓦和每美元对应的token数。
• 内存紧张短期内看不到缓解：Xie给出的时间表是“本十年内不会”。 短期首要瓶颈是洁净室，随后是设备；其中包括EUV设备，而ASML的供应链——包括生产“极其光滑镜面”的供应商——无法快速扩张。“你不可能打个响指就增加晶圆产能。”SK hynix、Samsung和Micron虽受益于高价格，供给仍无法迅速跟上。
• 空头情景是模型规模爆炸式增长，从而让更高堆叠高度变得值得。 SemiAnalysis测算过一个规模达到Kimi K3 3倍的模型，在批处理场景下，8-high和12-high带来的吞吐提升“可能值得这笔成本”。Xie的回应是，looped transformers等技术可以在不增加参数的情况下增加计算深度；他表示GPT-6 Astra基本已确认会采用这类技术。他还认为，各大实验室对4-high的强劲需求本身就说明，其路线图并未假设参数规模会激进增长。
• 预计SKU分层会进一步加深。 Meta已经有一版定制MI450，使用8-high HBM而非12-high；Xie称，在供应链资源紧张时，继续分层完全合理。当前288GB的Rubin配置并不是这次重置，变化对应的是Rubin Ultra——当前一代之后的下一版本，时间大致在明年这个时候，或延至2028年。

精读

1. Rubin Ultra：1TB变192GB，主要是供应决策

• Xie先梳理了各代产品的HBM堆叠高度：Hopper/Ampere时代是8-high，Blackwell Ultra是12-high，HBM4E则曾考虑16-high。NVIDIA在GTC预告的Rubin Ultra，是通过4颗计算die和16个16-high HBM4E堆栈，实现单封装1TB。一年半后，方案变成2颗计算die、基础版HBM4每颗die容量3GB（HBM4E为4GB），堆叠高度降至8-high，容量为192GB。
• Nanos有一个值得保留的判断：192GB低于Blackwell Ultra和标准版Rubin的288GB——“在我跟踪Nvidia的历史中，这是下一款旗舰GPU容量低于前代的第一次。”
• 机制在于，NVIDIA以及Google、Broadcom等客户，在TSMC锁定的逻辑产能规模高于其已锁定的HBM供给。若采用12-high，HBM供应无法喂饱全部逻辑产能，于是选择“把HBM供给配给一下，改用8-high cube出货”；在隐含的晶圆供给下，更多cube有助于平衡供需。只要容量超过模型权重和KV cache实现有效批处理所需的门槛，额外HBM的回报就会递减；而在短缺推高价格的情况下，“HBM容量过多的代价会变得大得多”。

2. 为什么容量让位于带宽：模型规模没有预期那么大

• Xie按不同阶段做了测算：FP8量化后的Llama 3.1 405B约占Hopper HGX节点640GB容量的60%，这也是H200增加容量真正有价值的原因。如今最大的模型Kimi K3拥有2.88万亿参数，Xie称其规模略高于Llama 3.1的6倍；但经过MXFP4量化后，只占GB200 NVL72总HBM容量约8%。扩展部署域的增长远快于参数量，Rubin Ultra的NVL576又增加了8倍。
• Nanos对需求侧的解读是，客户想要的是Kimi K3及其他现有模型的更快版本，而“提升token速度本质上靠的是带宽，容量基本不会带来额外收益”。
• 算力结构的变化进一步强化了这一点：后训练“非常像推理”，后训练加标准推理如今已经占据前沿实验室算力中主导且不断上升的份额，传统预训练的占比则在收缩。这一点也反映在基础设施建设上：新增数据中心算力更多投向研究、后训练和推理，而不是投向“我们两三年前还在设想的那个20万亿参数模型的预训练任务”。

3. 4-high的免费午餐：相同带宽，成本只是零头

• 物理机制很直接：无论堆叠高度如何，带宽基本由HBM到SoC的接口决定，因此每个cube的带宽基本固定。HBM4在cube与计算芯片之间提供2,048个I/O，每颗DRAM die最多支持512个信号I/O，所以需要4层才能吃满接口。低于4-high，就无法保留完整带宽。
• 定价却不对称：供应商本质上按GB收费，因此在相同带宽下，8-high或12-high的成本“几乎是2倍或3倍”。“如果你真正需要的只是这份带宽，而4-high的容量已经够用，只买4-high——这几乎就是免费午餐。”
• Xie的判断是，这一趋势会扩散到其他加速器厂商：“NVIDIA面对的供应链挑战，对所有人都一样”，而且“很多客户的路线图已经重置，转向更低堆叠高度的HBM”。

4. 供应链连锁反应：cube数量约为8-high的2倍，瓶颈随之迁移

• Nanos追问为何良率提升如此明显。Xie解释称，每层的良率损失会复合累积：假设每层损失约1%，在8层或12层上重复发生，最终损失远高于4层。向4颗die的堆栈输送电力也更容易，而且4-high是制造历史更长、产品更简单的配置。结果是，可出货cube数量大约是8-high的2倍、是12-high的2倍以上。瓶颈随后转移到TSMC的先进制程逻辑芯片、基板——“最紧缺的环节之一”——以及电力。
• 第2层收益在于，放松HBM需求后，可以释放目前被HBM挤占的DRAM晶圆，回流到服务器DRAM。服务器单socket内存降配已经很普遍；但生成式AI需要“大量CPU来完成所有工具调用”，如果DRAM不足，这些CPU可能会“利用率很低”。Nanos的框架是，在DRAM受限的世界里，4-high最大化“每片HBM晶圆对应的token数”，这与每瓦或每美元对应的token数类似。
• 内存利润暴涨也不会自动带来新增供给，原因是交付周期很长：首先是洁净室，随后是设备；ASML的EUV设备还受制于自身的专业供应商，包括生产“极其光滑镜面”的厂商。“你不可能打个响指就增加晶圆产能。”Xie认为内存紧张缓解的时间是“本十年内不会”。Nanos接了一句：“2030，来了。”

5. 空头情景、实验室信号与即将到来的SKU分层

• Xie主动提出反方观点：如果模型规模爆炸，批处理的经济性会反转。批次中的每个用户只需要读取1次模型权重，因此权重越大，额外容量就越有价值。SemiAnalysis测算过一个规模达到Kimi K3 3倍的模型，8-high和12-high带来的增益“可能值得这笔成本”。风险在于，如果所有人都转向4-high，会不会“反而伤到自己”。
• Xie的答案是，缩小模型占用的技术仍在胜出：looped transformers可以在不增加参数的情况下增加计算深度，他表示GPT-6 Astra基本已确认会采用。Xie还说，“最强烈要求4-high的声音来自各大实验室”，这说明它们的研究路线图并未显示激进的参数扩张。Nanos补充了一句：“如果Kimi K3的性能已经这么接近OpenAI和Anthropic，那对它们来说会非常尴尬。”Kimi K3约有2.8万亿参数，而两家公司当时的模型规模约为10万亿，意味着前沿模型的规模可能其实相近。
• Nanos继续追问未来是否会出现多SKU：V100先推出16GB、后推出32GB，A100先是40GB、后是80GB，H100的80GB之后又有H200的144GB；既然如此，同一颗die为什么不能同时存在Meta版和OpenAI版？Xie表示这已经在发生，举例就是Meta定制的MI450，采用8-high HBM而非12-high。当过度配置的成本变高时，“更多SKU分层绝对在计划之内”。
• 最后的时间点需要单独说明：当前288GB的Rubin配置并不是这里讨论的变化。重置发生在Rubin Ultra——“如果有R200的话，这就是R300”——也就是当前一代之后的下一版本，预计明年这个时候到来，或延至2028年。