第027期 - OpenAI Jalapeño：优于 Nvidia Blackwell（加速器）

摘要

• OpenAI 首轮 Jalapeño 结果大幅击败 GB300，在每兆瓦电力的输出 token 吞吐上也超过了7月的 Vera Rubin 结果。 与 Blackwell 的直接比较并不完全公平，因为 Jalapeño 使用 HBM4，而 Blackwell 使用 HBM3；Rubin 则提供了更公平的软件成熟度对比。Rubin 目前可能已经较7月有所改进，但 Jalapeño 自身的曲线“每周都在改善……甚至每天都在改善”。

• 功耗而非封装数量，正在成为推理业务的硬约束，使 Jalapeño 的每兆瓦性能具备直接经济意义。 在约50–100 tokens/秒的固定交互速度下，Jalapeño 每兆瓦产出的 token 约为 GB300 的2倍；在低 batch size 下，其速度约为700 tokens/秒，对手约为350。正如 Jordan 所说，OpenAI 同时赢在“更快的 token 和更便宜的 token”上。

• 即使脱离功耗曲线，Jalapeño 的 TCO 逻辑仍然成立，因为 OpenAI 既不需要承担 NVIDIA 的利润空间，又自行拥有并运营基础设施。 SemiAnalysis 假设 GB300、Rubin 和 Jalapeño 的每小时持有成本分别为 $2.79、$3.61 和 $1.56，而当前 GB300 NeoCloud 的价格约为每小时 $6。按这一组参数计算，Jalapeño 在每单位 TCO 性能上要么胜出，要么已经非常接近。

• 目前披露的基准测试，可能明显低估了 Jalapeño 的生产潜力。 测试采用单 token 预测，且在 DeepSeek R1、Kimi K2.5 和 GPT-OSS 12B 上都没有进行 prefill/decode 拆分；据称，OpenAI 的一种未公开内部 speculative decoding 方法，在生产模型上可带来“3到5倍”的提升。Jordan 将这一判断定性为个人猜测，因为目前没有开源实现可供独立验证。

• Jalapeño 的优势来自实际带宽和工作负载效率，而不是规格表上的 headline 参数。 它标称 FP4 FLOPS 不到 Rubin 的一半，HBM 容量也更低，TDP 仅为700瓦，却能提供15.4 TB/s 的 HBM4 带宽，并击败理论规格更大的芯片。关键在于，公开 FLOPS 只是“保证不会超过的数字”；真正决定工作负载能跑出多少性能的，是架构和软件。

• AI 同时压缩了芯片设计和软件 bring-up 周期，可能削弱 CUDA 历史上依赖切换成本建立的优势。 在 GPT-5 之前，据称 AI 辅助已经让 SIMD 面积缩减8%、矩阵引擎面积缩减10%；芯片流片后，agents 还生成了高性能 kernel，连工程师自己都无法逐行进行有意义的检查。Myron 的表述点出了其中的讽刺：“NVIDIA 的硬件让迁移出 NVIDIA 硬件成为可能”（“NVIDIA’s hardware has enabled moving off of NVIDIA’s hardware.”）。

• 这确实威胁到 NVIDIA 的加速器主导地位，但还没有威胁到其完整的部署生态。 Bryan 表示，从概念到实验室拿到实物芯片不到2年，从概念到流片不到9个月；但 OpenAI 接下来仍需部署可能达到数百万颗的芯片、数千个机架和数GW电力，而不是只展示3个测试机架。NVIDIA 的护城河仍包括供应、支持、物流、监控和可用性；Broadcom 与 Celestica 则为 OpenAI 提供了具备大规模扩展经验的合作伙伴。

精读

1. Jalapeño 在推理经济性约束最强的地方胜出

• Myron 的核心结论是：Jalapeño 将 GB300“打得落花流水”，在每兆瓦电力的输出 token 吞吐上也超过了 Vera Rubin 7月的结果。与 Blackwell 直接比较多少有失公平，因为 Jalapeño 配备 HBM4，而 Blackwell 使用 HBM3；Rubin 是更干净的参照对象，不过其当前软件表现可能已经优于公开的7月快照。

• Jordan 强调，分母很关键，因为数据中心正越来越受制于电力。一个数据中心可用100 MW，就只能采购与这处电力容量匹配的算力；如果某套系统每兆瓦能产出更多可销售 token，更高的芯片价格就可能合理。OpenAI 没有外部 Jalapeño 客户，因此相比每个封装能产出多少 token，更重要的是受限电力预算最终能产出多少 token。

• Bryan 反对以封装为单位比较性能：“说到底，每颗芯片的性能只是一个想象出来的东西。”厂商可以把两颗 die 封装在一起，宣称单芯片性能翻倍，就像 Ultra 产品那样；也可以把整片晶圆称作一颗芯片。Myron 补充称，每瓦性能和每成本性能高度相关，因为更高功耗通常也意味着更昂贵的芯片。

• TCO 模型假设 OpenAI 自行拥有系统和数据中心：GB300、Rubin 和 Jalapeño 的每小时成本分别为 $2.79、$3.61 和 $1.56，而不是 GB300 NeoCloud 被引用的约 $6/小时。自建模式的逻辑很直接：支付 Broadcom 的利润空间，而非 NVIDIA 的；或者支付 Broadcom 加 Google-TPU 的利润空间，抑或同等水平的利润空间。

2. Pareto 曲线同时展示了便宜的 token 和快速的 token

• Jordan 对这条曲线的解释是：纵轴代表每兆瓦产出的 token，横轴代表交互性，即每名用户实际感知到的响应速度。在每名用户约50或100 tokens/秒的交互速度下，Jalapeño 每兆瓦产出的总 token 约为 GB300 的2倍，意味着在电力受限的推理数据中心里，其潜在创收产出也可能达到2倍。

• 在低 batch、高交互性的边界，Jalapeño 可达到约700 tokens/秒/用户，而竞争系统的峰值约为350。这个表现并不常见，因为加速器挑战者通常只选择曲线的一端：类似 Cerebras 的系统强调快速 decode，而 AMD、TPU 或 Trainium 路线的系统通常强调吞吐量。Jalapeño 目前在“曲线两端”都表现良好。

• Jordan 指出，Jalapeño 成为首颗公开出现在 SemiAnalysis 推理基准上的非 NVIDIA、非 AMD 芯片，领先于他们原本预计会来自 SambaNova、Cerebras、TPU 或 Trainium 的系统。她向所有声称自家芯片强大的厂商发出挑战，包括 Etched：“如果你的芯片够好，就直接跑这个基准……让结果说话。”

3. 早期基准测试仍有多项大型优化未启用

• 测试负载包括 DeepSeek R1，其基础是2025年1月发布的 V3 架构，总参数量约6000亿；参数量为1万亿的 Kimi K2.5；以及 OpenAI 更小的 GPT-OSS 12B。3者都交出了强劲结果，但随机数据的8K/1K测试并未覆盖 agentic 工作流、prefix caching，或 SemiAnalysis AgentX 基准所暴露出的全部关键优化。

• OpenAI 采用的是单 token 预测，而不是多 token 预测；后者会猜测未来 token，再将其一并验证。Jordan 个人猜测，OpenAI 使用了一种不同于 MTP、DFlash 及其他开源配置的内部 speculative decoding 方法，但由于外部人员无法复现，OpenAI 没有披露相关结果。

• 该内部方法据称可在生产环境带来“3到5倍”的提升。如果这一提升能迁移到展示中的负载，Jalapeño 的曲线将出现大幅跃升；但主持人保留了验证层面的前提：公开比较没有包含这项优化，而这套内部技术本身也无法供外部检查。

• Jalapeño 同样没有启用 prefill/decode 拆分，这又是一项重要优化。Bryan 表示，他们听说 OpenAI 当时没有针对自有模型优化的内部 MLA 实现，尽管到访团队后来看到了一个由 AI 生成的 DeepSeek MLA kernel。Bryan 认为 AgentX 的测试时机并不理想，也不相信 Jalapeño 团队实际运行过该基准。因此，公开展示的结果令人印象深刻，但还不是完整的生产环境对比。

4. 实际 HBM 带宽击败理论 FLOPS

• 从纸面规格看，Jalapeño 弱于 Rubin：标称 FP4 FLOPS 不到 Rubin 的一半，HBM 容量也更低，TDP 更是低得多。Myron 提醒，理论 FLOPS 可能实际上无法触达；原始 HBM 带宽同样没有意义，如果复杂的内存子系统和过多的数据搬运阻止工作负载真正使用这些带宽。

• Jalapeño 在700瓦功耗下提供15.4 TB/s 带宽，使用的 HBM4 pin 速率为10 Gb/s。讨论将这一数字与 Rubin 约20 TB/s 的带宽作比较，并称 NVIDIA 预计会以每 pin 约9.6 Gb/s 的速率出货 Rubin。即使是 Rubin 的1,800瓦低功耗档位，功耗也超过 Jalapeño 的2倍，因此在 SemiAnalysis 的每瓦带宽比较中，Jalapeño 约为 Rubin 的2倍。

• Samsung 的反转是关键变量。其 HBM3 和 HBM3E 一度落后于 SK hynix，但 HBM4 使用了更先进的1c DRAM 工艺和 SF4 逻辑基底裸片；据介绍，SK hynix 使用的是1b级 DRAM 工艺和 TSMC 12 nm，Micron 则仍为基底裸片采用 DRAM 工艺。Broadcom 过去依赖 Samsung 曾经造成伤害，但现在看来可能反而因祸得福。

5. 这套架构将 TPU 的规整性与 GPU 的灵活性结合起来

• Jordan 将 Jalapeño 形容为 TPU 路线，但核心采用了更小的脉动阵列。面对细长 GEMM、奇异维度、低并发或多专家工作负载时，大型阵列可能出现利用率断崖：如果维度略高于128或256，一次 kernel launch 可能只能处理一个很小的细长 GEMM，而阵列的大部分区域都处于闲置状态。更小的 tile 牺牲了一部分理论效率，却能在不断变化的形状下提高利用率。

• Jordan 表示，OpenAI 可能通过精细安排权重和 KV cache 的位置、在核心之间选择性同步，以及谨慎使用连接 HBM 切片与计算单元的片上 collective 网络，来处理这一取舍。最终的结果可能比 GPU 更容易推理和调试，同时又比传统的大型阵列 TPU 更灵活。

• 这颗芯片还使用 L1 cache，而不是竞争对手加速器常见的软件管理 scratchpad。这会让 barrier 和数据搬运变得更复杂，但 Jordan 认为，AI 生成的 kernel 可以承担这部分负担。它的通用性也体现在能够运行互不相关的模型；团队还半开玩笑地强调，它可以以36帧/秒运行 Doom，而不是围绕某个 OpenAI 单一模型进行狭义的软硬件协同设计。

6. AI 缩短了设计周期，但部署仍是下一道护城河

• RTL freeze 发生在前一年7月，此前约从2月到7月的 AI 辅助工作已将 SIMD 面积缩减8%，矩阵引擎面积缩减10%。Jordan 强调，这一过程早于 GPT-5：即使是更早期的模型，也已经加速了繁琐的 RTL 工作，意味着未来芯片设计周期可能进一步压缩到 Jalapeño 已经不到9个月的流片周期之下。

• Jordan 认为，bring-up 阶段的 kernel 调优是一个适合强化学习的迭代式、可验证问题：生成代码、测试正确性和性能，再重复这一过程。工程师向 SemiAnalysis 展示了一个约3万行的 Gluon kernel，看起来像“AI 生成的汇编代码”；他们理解硬件和系统层面的概念，却无法逐行解释这段代码。Jordan 的观点是：“这不重要”，因为这些 kernel 既正确又快速。

• Bryan 对“CUDA 护城河没了”的保留意见是，NVIDIA 的护城河不止于编程。他表示，OpenAI 必须解决如何启动并运行100 MW 的这些芯片，而不是只搭建3个测试机架；同时还要将供应链扩展到数百万颗芯片、数千个机架和数GW规模，支持、物流和监控仍是“一项艰巨得令人难以置信的挑战”。Broadcom 和 Celestica 拥有相关经验，但能在实验室运行的机架并不等于大规模量产。

• 更广泛的竞争信号，对 Meta 和 Microsoft 可能最为严峻。Bryan 追问，究竟是 OpenAI 特别出色，还是两家的芯片团队存在“能力问题”，最后的结论是：可能两者都是。Anthropic 目前正在招聘芯片团队，但主持人预计，头部实验室会进一步推进软硬件一体化，因为拥有专属模型访问权的团队，可以在竞争对手拿到相同模型之前先行改进硬件。