瓶颈不在芯片：与 Bubble boi 对谈｜EP 166

摘要

• Bubble boi 的可投资判断是：AI 的硬约束正从晶体管缩放迁移到封装、互连和内存。 Moore’s Law 曾经大致承诺每2年将晶体管密度翻倍；如今投入数百亿甚至上千亿美元，可能只能换来15–20%的提升。替代方案是扩大芯片面积，让多颗裸片保持一致协同：“无论如何都要获得更多晶体管。”

• NVIDIA 的路线图越来越依赖它无法控制的供应商和技术。 H100 使用一颗大裸片，B200 转向2颗，Rubin 默认使用2颗，Ultra 设计原本计划达到4颗；但据称封装困难反复出现，最终规格下调为每个封装2颗裸片、通过2个封装实现。“我每次看 NVIDIA 的路线图，脑子里只剩一句话：今天根本做不到。”

• AI 硬件如今必须按机架级系统设计，而不是孤立的加速器。 NVIDIA 的 NVL72 连接72个封装，使用大约4颗 NVLink 交换芯片；据称 TPU 团队则把扩展域拉到9,600颗芯片，并将路由逻辑直接嵌入芯片。“这些系统已经不只是芯片”；架构现在横跨计算、网络、内存、prefill 和 decode。

• 推理对内存的需求，可能更多由上下文和并发用户数驱动，而不是不断增大的模型权重。 Bubble boi 提到传闻中的 GPT-6“循环 Transformer”、稀疏化、量化、剪枝和投机解码，认为原始权重规模可能趋于平台期，而上下文规模会随权重数量、注意力头数量和用户数增长。他的配置判断是：权重可能应放在 HBM 中，而不需要立即调用的上下文则应越来越多地放进闪存。

• 高带宽闪存在技术上很有吸引力，但只要 HBM 仍然可得，它就缺少决定性的‍数据中心应用场景。 它的密度更高，但 Bubble boi 认为 HBF 和高端 AI 闪存的延迟都在约5微秒，HBF 的总产品成本可能也与 HBM 大致相当。他透露的“alpha”是：自己听说的主要 HBF 客户，是那些无法获得或生产高端 HBM 的中国客户。

• 商业上真正重要的优化，不是单独追求每秒最多 token，而是让单位硬件服务更多用户。 更智能的缓存、闪存卸载、prefill/decode 解耦、CXL 挂载内存，以及感知上下文的控制器，理论上都可能让同一套 NVL72 级别机架服务的用户数翻倍或翻3倍。“归根结底，Agent 就是上下文”，因此 Agent harness 和可复用 prompt 天然适合做缓存对象。

• 相比估值达万亿美元、模型 alpha 可能因竞争和员工流动而扩散的 AI 实验室，Bubble boi 更偏好硬件“铁路”。 他的耐久性测试是：“如果这家公司消失6个月，所有人会有多惨？” TSMC 和 NVIDIA 得分很高；与此同时，他仍然看多 AI，因为只要借助 AI 找到5种或10种药物，或实现另一次重大效率突破，就可能证明当前全部 AI 资本开支的合理性。

精读

1. Moore’s Law 在工程师江郎才尽之前，先在经济上失效

• Bubble boi 解释说，作为芯片设计师，他必须做简化和抽象；他还说，交易员或“赌徒”需要一张高层地图，否则就会“陷进细节泥潭”。Logan 提供的经济学检验是：系统最终必须完成什么，而不是困在比特错误率、材料或几瓦功耗等边际争论里。

• Moore’s Law 大致承诺每1.5至2年将晶体管密度翻倍。更多晶体管意味着更多数字逻辑和更高性能，但它更大的贡献在于商业可预测性：一家公司投入1亿美元，就能预判芯片会更好、定价更高、市场份额提升，并获得这笔资本的回报。

• Bubble boi 提出的“Bubble’s Law”追踪的是密度提升成本的爆炸式增长。20世纪60年代至90年代，性能提升相对便宜；到了今天，一代先进制程可能吞噬数百亿或上千亿美元，却只带来15–20%的密度提升，最终可能只剩1家或2家公司有能力继续保持竞争力。

• 时钟频率撞上了另一道由热和开关速度构成的上限，推动行业在21世纪00年代中期转向多核处理器。并行任务因此受益，但串行任务没有：Intel Core i9-14900KS 达到约6GHz，而对数据包处理这类受延迟约束的单线程任务而言，今天的处理器频率并没有实质性超过这一水平。

2. NVIDIA 最初的护城河是灵活性，而不是预见 AI

• 图形处理本质上是通过高度并行的矩阵运算变换图形；当 CPU 无法以60fps渲染复杂游戏后，专用处理器就不可避免。AI 使用的是相关数学运算，只是精度更低，因此图形架构可以自然迁移到科学计算，再进入模型训练。

• Bubble boi 将 NVIDIA 能够存活归因于可编程性。图形 API 发生变化、Microsoft 支持新标准时，据称 NVIDIA 一度接近破产，不得不立即完成替代芯片的流片；公司还在正式图形规范之外增加能力，而不是把自己锁死在标准里。

• 这种灵活性帮助 NVIDIA 支持了竞争对手错过的科学计算工作负载，也让新模型如今仍能在“1天或2天内”跑起来。不过 Bubble boi 的结论依然有条件：从历史看，可编程性显然是正确答案；但随着 AI 系统日益专业化，同样的优势是否仍然决定胜负，尚无定论。

3. 封装已经成为新的缩放定律

• 当晶体管缩放放缓后，现实可行的替代方案是扩大面积：把多颗裸片连接得足够紧密，让它们表现得像一颗完整芯片。Bubble boi 说，如今光刻可能只能带来约10–12%的提升，却需要200亿至400亿美元，这使先进封装成为新的缩放范式。

• 他将不断上升的流片成本曲线与先进封装的相对吸引力进行了对比：5纳米的成本可能约为7纳米的2倍，而2纳米又大致翻倍。

• 他的 Intel 投资逻辑建立在一个前提上：公司能够在非线性的投资周期里，同时为先进制程和先进封装提供资金。在他看来，Intel 的 EMIB 技术“远胜”当时 TSMC 的方案，而 TSMC 后来已经把封装推进到类似方向。这笔押注的关键，是相信 Intel 真能把产品交付出来。

• NVIDIA 暴露了这种依赖。它的路线图从 H100 的一颗大裸片，走到 B200 的2颗；Rubin 默认采用2颗，而访谈中提到 Ultra 原本计划组合4颗裸片。Bubble boi 说，反复降规格如今指向这样的方案：每个封装放2颗裸片，再通过 PCB 连接2个封装。

• 更长的 PCB 距离会带来吞吐和信号完整性问题，因为信号在不同物理介质之间传输时会损失功率或完整性。他事后认为，真正更纯粹的瓶颈标的是 PCB 厂商，而不是 Intel——Intel 最终做成了。预计默认采用4颗裸片、搭载更多 HBM 的 Feynman，可能会进一步放大这一约束。

4. 扩展架构如今决定芯片本身

• AI 的矩阵工作负载“天然易并行”，因此集群可以把任务分配给数百或数千颗加速器。物理限制显而易见：一台 NVL72 大约包含72个封装，不可能全部塞进一个封装，于是系统架构师必须让整个机架维持类似芯片的行为。

• 训练和推理对互连的要求不同。训练搬运激活值和部分乘积，受益于 NVLink 约900Gbps的带宽；推理搬运的数据通常更少，却对延迟高度敏感。复用面向训练的网络当然可以，但必须针对这种延迟特征做工程优化。

• TPU 团队给 Bubble boi 留下深刻印象：在每颗芯片 HBM 更少、也没有类似多光罩封装的情况下，仍然实现了9,600颗芯片的扩展域。TPU 芯片会自行承担部分路由；相比之下，据称 NVIDIA 的 NVL72 要在机架中拿出相当大的空间放置约4颗 NVLink 交换芯片，而这些空间原本可以容纳更多加速器。

• 更好的互连意味着芯片上的内存可以更少，因为架构师可以改为增加芯片数量。它也支持解耦：Kimi 的参考设计将推理 prefill 与 decode 分开，因为两者本质上是不同操作。“你已经不能只设计一颗芯片了”；机架、工作负载、控制器和硅片必须协同设计。

5. 训练仍然吃算力，推理则暴露出新的杠杆

• Bubble boi 仍然认为 NVIDIA 的芯片是出色的训练产品，因为它们提供充足的 FLOPs 和带宽。但如果目标只是获得更多乘加运算，答案越来越接近一块巨大的计算面积——可能是 Cerebras 式设计，而不是某种巧妙的新硬件优化。

• 训练需要承载权重、激活值、状态、检查点和源数据集。有些内容可以迁移到更便宜的内存，或者之后重新计算；但 Bubble boi 认为剩余的改进越来越依赖算法：“只能希望做算法和机器学习的人能想出办法。”

• Logan 通过本地推理做了验证，质疑前沿模型很快就能在消费设备上轻松运行的说法。他从 OpenRouter 抽取的样本显示，排名前10的模型里，即使是最弱的一个，也需要约2至4台 H100 等效设备；而“GM 5.2”需要约40至50台。一台 H100 的价格约为$25,000或$30,000。

• Bubble boi 补充说，即使是 Llama 7B，“在实践中”也可能需要4块 GPU 才能运行。旧模型或高度专用化模型仍然可以在本地运行，但讨论中的更大模型仍需要加速器集群，主要因为它们的权重和服务状态超出了本地内存容量。

6. 推理内存的主导因素可能是上下文，而不是权重

• Bubble boi 质疑参数规模是否会无限增长。他提到一个流传甚广的说法：GPT-6 会反复循环使用同一组权重；剪枝、量化和投机解码之所以有效，是因为权重具有稀疏性，且贡献并不均等。因此，能力提升未必需要存储参数按比例增加。

• 上下文规模会随权重数量、注意力头数量和用户数增长。由于自回归生成会反复调用此前的对话来生成下一个 token，服务状态占用的内存可能超过权重本身。Logan 所设想的“Her”式理想——一个记得用户完整人生的助手——会进一步放大这一需求。

• Bubble boi 认为，如今宣传的100万或200万 token 上下文窗口并非完全有效：模型必须在这些长度上训练，而合适的长文本训练数据非常稀缺。更有效的记忆方式可能是检索、存储对话，以及通过后训练把“用户住在哪里”这类持久事实写入权重。

• prefill/decode 的区分带来了经济回报。Prefill 负责计算上下文，decode 可以复用缓存后的表示。Bubble boi 说，Kimi 没有命中缓存时收费约$5或$3，命中后费用会低得多；Agent harness 尤其适合缓存，因为它们很大程度上是在反复注入相同 prompt。

7. 闪存应该吸收上下文，但 HBF 仍然需要客户

• Bubble boi 开玩笑说，改变世界要么靠治愈癌症，要么靠发明“一种全新的内存”，这解释了他为什么被高带宽闪存吸引。HBF 拥有更高的比特密度和可能有用的带宽，但它的成立取决于加速器是否真的需要远高于当前水平的本地容量。

• 可靠性不是他首要反对理由。闪存写入会造成磨损，但应用专用控制器可以用不同于数据库、游戏或文件的方式管理上下文；一段多年前的旅行对话，未必需要永久、逐比特准确地保存。更难的问题是，面向普通 AI 的闪存已经能够完成这类上下文的检索。

• Bubble boi 认为，HBF 和高端传统闪存的延迟都约为5微秒。HBF 的带宽低于 HBM，尽管每比特成本更低，但总成本可能大致相同。因此，它最清晰的客户是那些拿不到 HBM 的人，这与他从“2或3个人”那里听到的中国需求说法相吻合。

• NVIDIA 的网络附加闪存方向上更好，但 Bubble boi 认为，更智能的编排还可以继续推进。CXL 同样能让额外内存对软件呈现为普通内存。基本原则很简单：把立即使用的权重留在 HBM，把更冷的上下文卸载出去，再通过为 AI 设计的控制器协调数据移动。

8. 局部性和调度的重要性，可能超过下一个内存热点

• Bubble boi 特别提到 Hot Chips 上关于“Jalapeño”的演讲，访谈中将其描述为一款 OpenAI 芯片，因为它利用了内存局部性。不同的内存 bank 和 channel 在物理上相隔数毫米；把所需数据放到相关计算引擎附近，即使这些距离听起来微不足道，也能提升性能。

• 逻辑层上键合3D DRAM，可以通过大量短连接而不是一条宽总线，同时改善带宽、延迟和功耗。Bubble boi 不记得相关公司的名字。设计挑战转而变成空间问题：工程师必须知道哪些字节位于哪些计算模块附近，并围绕这些极短的本地路径组织工作。

• 除名义延迟外，时序同样重要。如果一项操作持续10毫秒，而数据直到第11毫秒才会被需要，那么它不必瞬时抵达，只要能够被正确预取即可。只要知道推理工作负载下一步会做什么，内存布局和调度就能替代更昂贵的原始带宽。

• Bubble boi 对光子计算的热情低得多。针对当前模型维度做模拟光学矩阵乘法，所需占地可能接近一座橄榄球场，本质上是自由空间光学；因此，他认为近期更有潜力的场景是嵌入式设备或 IoT，而不是数据中心。“那边有人在卖桥。”

9. 除非实验室建立不可替代性，否则真正耐久的投资是基础设施

• 电源效率很重要，但经济指标是每瓦服务的用户数或 token 数；批量处理更多请求，可能胜过使用奇特的低功耗电路。Bubble boi 还纠正了讨论重点：数据中心最大的成本是硬件，而不是电力。Neocloud 首先要为土地和 GPU 获得融资，便宜的电力并不能抹掉这笔账单。

• 谈到“暂停前沿研究”时，Bubble boi 质疑实验室说的究竟是安全，还是在向高价值研究纵向整合。他将 Terrence Tao 的研究与细胞技术之间的联系这类有价值的数学和信号处理工作，与影响较小的问题进行了对比。Logan 说，解决 Navier–Stokes 可能只会在 CFD 模拟中节省一些算力周期。

• Logan 的现实主张是，强大的 AI 和高算力资源应该用于药物、新材料及其他重要问题，而不是仅仅生成网站或垃圾内容。Bubble boi 认同当前模型能够自动化苦力活，但仍不能替代思考；用户必须核对上下文和来源。

• Logan 的反驳值得保留：实验室并没有暂停自己的多年期、数GW级别的承诺。Bubble boi 的说法是：“他们是在替我们控制前沿，不是在替自己控制前沿。”两人都不相信当前模型能够替代思考，但同时也看到了把算力用于艰难发现的价值。

• 关于开源与闭源，Bubble boi 说，开源已经让编程商品化，前沿应该超越计算机任务，转向能够改变现实的发现。他还说，除非具备大量专业知识，否则当前模型通常无法在商品硬件上运行，旧模型或专用工作负载除外。

• Bubble boi 更愿意持有“硬件层”、铁路或已经被验证的运营商，而不是可能“竞争到死”的实验室。他的消失测试偏向 TSMC、NVIDIA 和不可或缺的基础设施。讨论中提到的潜在标的包括尚未上市的 Etched，以及 WKA 的闪存卸载软件；Groq 和 Cerebras 出现在相关讨论中，但不是他的公开推荐。

• 对于 Agent，Bubble boi 认为，变现可能更多流向采用它们的公司或被它们替代的员工，甚至可能催生保险业务，而不一定只归 Agent 厂商所有。

• 他的宏观结论是看多：如果借助 AI 找到5种或10种药物，或实现另一次重大效率突破，就可能证明当前全部 AI 资本开支的合理性，并触发一次“快速起飞”。