摘要

TPU在限定条件下可以挑战GPU，但Henry没有给出无条件的替代结论。 适用前提是大规模部署、模型相对稳定、用户量足够大；固定workload让Google可以协同优化芯片、XLA、网络与内存，millions of users又能把批处理成本摊薄。单用户Agent、本地部署和频繁变化的模型仍更适合GPU或低延迟ASIC。“未来肯定是两者并存。”
TPU的核心优势不是单芯片跑分，而是把数千颗芯片组成一个高利用率的TPU Pod。 GPU的SIMT架构像许多能独立决策的大厨，通用但会等待数据；TPU则像接力流水线，由软件预先安排每一步，让矩阵单元和memory bandwidth尽量跑满。Henry判断，在为Gemini或其他Frontier模型深度定制时，TPU的Total Cost of Ownership会优于GPU。
V7 Ironwood已经接近NVIDIA Blackwell的性能水平。 Henry称其两项关键进步是peak FLOPS逼近GPU，以及HBM容量、带宽和软件利用率的大幅提升；V8的技术细节则拒绝透露。真正的风险在于芯片研发最快仍需两年至两年半、甚至三年，而模型方向可能约每六个月改变一次，专用硬件必须提前押注。
TPU扩张当前更受供应链和产能约束，瓶颈集中在HBM、TSMC CoWoS和良率。 HBM由SK海力士、三星和Micron三家生产，英伟达又是最大客户；产能通常要提前一至两年锁定。TPU还要求Pod中芯片性能高度一致，难像GPU那样把次品降级销售，“一旦良率不行，这一款芯片相当于报废了”。
开场列出的需求信号包括：2024年Apple论文称Apple Intelligence使用TPU训练；2025年Anthropic拿下一百万颗、价值数百亿美元的TPU；2026年Meta签下数十亿美元协议租用TPU运行Llama。但Henry认为Anthropic订单不能直接证明TPU已有可复制的外部生态：Anthropic与Google关系紧密，且拥有能驾驭JAX、XLA和硬件调优的工程师。泓君则把Apple的能力部分归因于Google人才迁移。
XLA既是TPU的“secret sauce”，也是外部客户的主要门槛。 静态编译器可以在整个Pod上做算子融合、内存管理和全局优化，但融合后的计算图更难debug；外部客户可能需要Google软件团队支持。Google正在补齐PyTorch原生算子与并行库，Meta目前更多是借TPU缓解CapEx和算力压力，而非已经完成软件栈迁移。
推理市场不会只产生一个赢家，而会按规模、吞吐量和尾部延迟分层。 TPU通过铜互连和少量光交换机减少NVLink、NVSwitch这类“infrastructure tax”，适合Gemini、Claude等海量云端请求；Groq则用SRAM、确定性compiler和更多LPU资源服务Agent、实时语音及高频交易。投资上的关键变量不只是Google能抢多少GPU份额，还包括Broadcom议价权、HBM与CoWoS供给，以及TPU生态能否降低外部迁移门槛。

精读

1. TPU用流水线换掉了GPU的调度弹性

Henry把GPU的SIMT架构比作一间有许多大厨的厨房：每个人独立思考、取菜和完成任务，因此并行能力强，也能适应不同工作，但线程会在等待数据搬运时出现idle period。
TPU则是为机器学习矩阵计算定制的流水线，“第一个人从冰箱里把菜取出来，第二个人直接加工中间态，再传到第三个人”。它像心脏泵血或一场接力赛，以更少调度换取更高计算单元利用率。
泓君把区别概括成GPU并行、TPU接力；Henry补充，训练和推理正从compute-bound转向memory-bound，因此胜负越来越取决于缓存复用、数据搬运和能否把memory bandwidth跑满，而不只是理论FLOPS。

2. TPU的竞争单位从来不是单卡，而是一整个Pod

Henry认为，GPU长期以单张卡性能见长；TPU一直按system level设计，通过ICI芯片互连和3D torus拓扑，让数千颗芯片协同训练，用户感受“像是一张卡”。
这套架构减少了计算之外的等待和通信开销，也使TPU的评价指标更接近整个集群的训练效率与TCO，而非拿一颗芯片对比H100、GB200。“它是一个大的计算集群，而不是单卡单芯片去做预训练。”
TPU硬件因此被有意做得更“蠢”：少放控制、调度和prediction单元，由软件预先决定每个时间点做什么。复杂度转移到XLA后，矩阵单元可以接近满功率工作，但软件一旦失配，优势也会迅速消失。

3. Ironwood把纸面性能追平，真正差异仍在利用率

Henry深度参与三代TPU，称V7 Ironwood是自己做的第二台、V8是离职前最后一代。他给V7归纳了两项大升级：peak FLOPS更接近GPU，以及HBM容量、memory bandwidth和实际带宽利用率的跃升。
当泓君追问“同样训练一代Gemini，GPU和TPU谁更省钱”，Henry没有给通用答案：若是Google自家模型，或Google能为另一家Frontier模型提前拿到明确workload并做软硬件定制，TPU的TCO会更有优势。
对直接性能比较，Henry只说V7与NVIDIA Blackwell“已经是旗鼓相当了”，没有给出比例或公开benchmark；V8则明确表示“目前不能透露”。这份保留意味着节目给出的强结论是定制效率，而非所有任务上的绝对跑分领先。

4. HBM、CoWoS与良率决定TPU能卖出多少

Henry把HBM称为近似垄断的供应市场，主要玩家是SK海力士、三星和Micron；英伟达长期是最大客户，TPU过去更像secondary customer，因此不容易拿到最好的规格和足够大的订单。
CoWoS是另一道硬约束：计算芯片与HBM需要通过2.5D封装整合，Google和Broadcom都无法自行完成，只能依赖TSMC。“TSMC给你分配多少产能，你一年就能达成多少产能。”
产能通常要提前一至两年锁定。V7以前主要服务Google内部，缺乏明确外部需求，便很难向Broadcom、TSMC和HBM厂商锁定足够大的订单；等需求突然上来，再临时调整已经太迟。
TPU的良率问题还比GPU更苛刻：Pod依赖大量芯片稳定通信，性能参差会拖累整个system。Henry用GPU可做不同等级产品作对照，称定制TPU很难降级销售，“一旦失败了……这一款芯片相当于报废了”。

5. 百万颗订单的背后，是客户能力而非即插即用

泓君开场称，2025年Gemini 3登顶AI性能排行榜时，训练它的不是NVIDIA GPU而是Google TPU；他还列出需求信号：2024年Apple论文称Apple Intelligence全部使用TPU训练，2025年Anthropic拿下一百万颗、价值数百亿美元的TPU以训练下一代Claude，2026年Meta签下数十亿美元协议租用TPU运行Llama。
Henry认为Anthropic订单很大，但首先是Google投资关系下的“相对内循环”，其次是Anthropic工程团队足够强，能把自家模型部署到TPU。泓君还提到Anthropic不少员工早期就在Google工作。Henry不确定把相同条件换成Meta或其他公司后，TCO还能否同样压低。
泓君提到Apple可能拥有规模更大的TPU使用团队，并把原因指向庞若明等Google人才迁移。Henry认同人才流动的重要性：Apple、Midjourney、Anthropic的需求曾让Google对接团队“非常忙”，会JAX、XLA又懂硬件的复合型工程师尤其稀缺。

6. XLA既能榨干TPU，也把调试变成高门槛工作

Henry把XLA称为Google的“黑盒”与“secret sauce”：它是静态编译器，在workload已知时，可以站在整个TPU Pod的全局视角优化计算图，而CUDA生态的开发体验相对成熟。
XLA会做算子融合，把多个kernel合进同一计算单元，避免中间态反复写入和读取内存；它还按TPU偏好的方式管理和分配内存。上层可以是PyTorch、JAX或TensorFlow，最终由XLA翻译成TPU指令。
黑盒并不等于无法debug，但融合后的对象是一整张graph，而非一个独立计算。工程师既要理解软件，也要知道硬件为什么这样取数；外部客户遇到复杂问题时，可能需要Google的软件团队支持。
Henry的取舍很直接：旧软件栈可以在TPU上“跑”，却不等于能取得好TCO；要把性能榨干，往往必须迁移到JAX加XLA。相比CUDA已有的社区、工具和经验，这仍是TPU外部扩张最重的迁移成本。

7. PyTorch兼容决定Meta合作能否从租算力走向生态迁移

Meta的软件栈以PyTorch为核心，而PyTorch与TPU并非特别兼容。Henry称Google早已与相关团队接洽，内部也在推进PyTorch和XLA结合，并为TPU原生支持更多PyTorch library、并行库和算子；难点是PyTorch已有几千个算子，缺少原生支持就会掉性能。
直接使用Google Cloud可以绕过部署，却牺牲底层控制。Henry估计，若结合不好，实际model utilization rate可能只有50%至60%；客户“还是要付同样的钱”，因此纸面性价比未必转化为最终账单优势。
Henry判断Meta现阶段更现实的动机是offload算力压力：他认为Meta的CapEx和预训练需求过大，市面上能买的算力几乎都要买。按他离职前所知，直接购买TPU机架、直接从Broadcom购买的客户似乎只有一位，名称在记录中为“SRPIC [?]”，无法仅凭上下文确认其身份；其他客户目前主要通过Google Cloud。

8. 芯片要提前两三年押注一个半年就会变化的模型世界

Henry不愿把Gemini成功简单归因于芯片：“算法当然很重要。”TPU真正提供的是缩短验证周期——算法团队提出新算法后，若workload能提前与芯片组协同，团队就能更快验证它是否有效，并增加迭代次数。
一代旗舰芯片从设计、验证、Broadcom通信设计、package级验证到交付制造，“最快最快也要两年到两年半、三年”；泓君对照的是模型方向大约每六个月变化一次。芯片团队实际是在用今天的信息押注两三年后的主流计算。
V4、V5时期，Google内部重心仍包括recommendation和ranking。Henry参与的sparse core专为embedding等稀疏计算优化，却牺牲部分稠密矩阵面积，因此当时纸面矩阵能力看起来可能不如GPU。
大模型方向从V6开始明显加码，并拆出训练与推理版本；V7在Henry看来“应该是押对了”。泓君指出，激进设计可能在某个模型上提升30%至40%，但模型变化后会很痛苦；Henry把这种取舍称为基于现实的compromise。

9. MoE证明网络拓扑可以决定一类模型能不能跑

早期TPU采用2D torus，每颗芯片主要与相邻节点通信；MoE的routing却要把token发给分布在不同芯片上的专家，缺乏高效路径时，就像“找一个朋友，中间要经过很多个环节”，带来拥堵和浪费。
到V4时期，TPU引入OCS光交换机和软件可配置的3D torus。软件可以重设Pod中不同集群的通信路径，改善MoE所需的跨节点数据交换，Henry称这一变化解决了MoE的一个痛点。
这个例子也暴露ASIC的两面：Google因更早了解Transformer和内部模型workload而拥有先发信息，但芯片一旦固定就无法随月度算法变化。若未来仍以矩阵计算为核心，TPU可以继续适配；若出现完全不同的范式，GPU的通用性会重新占优。

10. 推理成本优势首先来自网络，而不只是计算芯片

泓君观察到，Google API早期价格约为OpenAI和Anthropic的十分之一，Claude 4.5 API价格又下降67%，并追问媒体所称的TPU贡献。Henry只明确认同推理成本与TPU有关，没有把具体降价幅度全部归因于训练芯片。
Henry同时指出，Google当前推理芯片本身的成本会比GPU高不少；但GPU集群依赖NVLink和NVSwitch，他称其为一种“infrastructure tax”：数据中心还要购买和部署大量交换设备。TPU更多使用芯片间铜互连，只在部分节点配置光交换机，因此能以不同拓扑完成相同通信效果，并在基础设施支出上取得优势。
TPU并非没有昂贵环节。它高度依赖SerDes把信号稳定地从一颗芯片传到另一颗，液冷也是成本之一；只是资本开支的构成与GPU不同，交换机成本相对少一些，通信芯片和稳定性验证更重。
Attention和KV cache令推理越来越memory bound，关键是多快把数据从内存搬出来。Ironwood因此重点提升低延迟、大吞吐量和memory bandwidth，尤其避免LLM decode阶段被内存卡住；Henry把这视为Google看好推理增量的信号。

11. TPU最强的场景是稳定模型加海量请求，而不是单用户Agent

Henry给挑战GPU列出明确前提：模型相对固定、形态静态、部署规模足够大。训练完成后，TPU可用system-level优化把推理成本压低；但本地部署、小客户和频繁改变的模型很难摊薄这套系统成本。
TPU会把大量request组成大batch，再转成高密度矩阵计算。若每秒没有足够用户，软件无法有效打包；因此Gemini、ChatGPT、Claude这类每天有millions of users的云服务，远比单一用户调用更符合它的经济模型。
Henry区分了吞吐量和尾部延迟：TPU可以保持较高的平均tokens per second，但某些用户快、某些用户慢；它不太适合追求极低的单用户响应速度。Agent的多步链条更在意单用户critical-path latency，尾部延迟会被逐步放大。
泓君追问“小创业公司能否借Google Cloud与其他request一起打包”，答案是可以，但这也把调度与底层优化权交给Google。TPU的规模优势和黑盒限制，本质上来自同一套集中式架构。

12. Gemini摆脱GPU备份，说明软件稳定性终于越过门槛

Henry称V7发布时，Google基本百分之百使用TPU训练Gemini；在此以前，GPU长期作为TPU的backup，原因不是训练质量较差，而是XLA加TPU的软件系统复杂且不稳定，pre-training中途报错的风险太高。
他判断如今这套系统已“非常steady，也非常成熟”，因此GPU与TPU混用的必要性下降。这也是TPU从Google内部工具变为潜在外部平台的重要前提：硬件峰值若不能被软件持续调用，就没有可销售的TCO。
泓君提到Gemini偶尔因请求过多而不可用，Henry直答“就是没有卡”。他认为这可能与用户从ChatGPT迁移到Gemini有关；要满足这么大规模的需求，硬件补充需要较长周期，但具体短缺会持续多久，他表示并不清楚。

13. Broadcom掌握的是“脏活累活”，也因此掌握更多议价权

Google TPU团队主要做前端设计，Broadcom负责ICI、后端物理布局和信号连接，再交给TSMC生产。Henry形容这部分是“脏活累活”，却要求混合信号、数字与模拟电路经验，一处信号问题就可能让整个集群失效。
他把Broadcom描述为服务少数超大客户、进行深度定制的to B模式；Marvell则更多为中型公司和startup提供IP solution。Broadcom还能帮助大客户争取TSMC CoWoS产能，因此短期内合作关系很难改变。
依赖也会反噬TPU利润：若Google没有backup，Broadcom的议价权会持续上升，TPU可留存的margin变少。Henry把这类关系类比为TPU过去给GPU提供备选——替代方案不只关乎技术，也关乎采购谈判。
他认为未来几年HBM可能直接决定训练与推理上限：“如果买不到好的HBM，训练效率就会大打折扣。”投资者因此不能只盯Google与英伟达，也要看Broadcom、三家HBM厂商及TSMC封装如何分配稀缺产能。

14. TPU从语音成本危机出发，最终走向一个分层的推理市场

节目回溯到约2013年：Jeff Dean展示深度学习在语音识别上的突破，Jonathan Ross用两页PPT总结——好消息是GPU确实有效，坏消息是“我们付不起这个钱”。若每位Google用户提交三分钟语音，数据中心成本可能翻倍至数百亿美元量级。
第一代TPU因此从在线推荐的inference切入：CPU并行能力不足，当时GPU又缺少成熟矩阵单元，Google便自行打造“矩阵计算器加内存”。Jeff Dean推动项目，David Patterson深度参与早期架构；第二代开始承担training，硬件先行、软件和产能随后多年补课。
对AlphaGo使用的代际，Henry只判断可能是V2或V3；此后PaLM、BERT、早期Transformer及后来的Transformer都沿用这套体系。到V4加入sparse core、V5与V6转向LLM、V7强化推理，软件团队规模最终远大于硬件团队，DeepMind更像决定下一代方向的“大脑”。
Jonathan Ross后来把TPU compiler经验带到Groq；Henry称Groq本质上是compiler公司，能把LPU每个cycle做什么预先确定。SRAM和单用户占用更多资源换来低尾延迟，适合Agent、实时语音和高频交易；节目还提到Groq参与中东数据中心及与IBM合作的本地集群。运行参数量很大的模型时成本较高，小规模部署则更容易控制。
Henry还说，DeepSeek出现后，推理端降本以及端侧、本地部署的需求更加受到关注。最终市场结构不是替代而是分层：TPU占据最大规模部署，Groq等ASIC服务低延迟或私有集群，大厂继续自研芯片。“你不能说GPU将来会一统江山，也不能说TPU会一统江山。”TPU目前是重要挑战者，但真正打破垄断仍取决于生态、产能和客户迁移能力。

AI芯片与硅产业盘点 2026 RAG之后的检索：混合搜索、Agent与数据库设计——Turbopuffer 的 Simon Eskildsen