AI集群硬件与网络物理瓶颈

10月27日

Latent Space Anthropic 如何打造并推出全球排名第1的 LLM——对话 Katelyn Lesse 与 Angela Jiang

• Latent Space CPU 供给正与加速器供应并列，成为实质性约束。 嘉宾称，API、沙箱、研究和不断增加的 CI 活动都在争夺 Anthropic 的 CPU 配额。借助 Claude，团队将 Messages API 从 Python 迁移到 Rust，CPU 用量下降约40–50%，首 token 延迟改善10–20%；关键的人类贡献是“计划 …

10月24日

Chipstrat 我与 Dylan Patel 和 Stacy Rasgon 的对谈

• Chipstrat 到2028年，基板和存储可能比电力更限制 AI 部署。 Patel 称基板是“所有瓶颈中最大的瓶颈”，并估计明年全球数据中心建设规模接近50吉瓦；现场发电有助于缓解电力限制。Rasgon 认为2028年大概率仍会吃紧，到了2029年，关键将转为需求问题。

10月23日

SemiAnalysis 第040期 - ASML正在研发混合键合设备，我们找到了相关专利（AI供应链）

• SemiAnalysis ASML尚未公布的混合键合设备，将把其前道工艺的精度优势带入由Besi等贴装专业厂商主导的市场。 这一判断基于2025年的专利申请，设备部署还要“数年之后”。芯粒在准备和测量过程中始终放在传送载具上；ASML采取“让晶圆去找芯片”（the wafer to the die）的方式，在键合间距不断缩小之际发挥其计量和晶圆台优势。
• Howie 传送带设计能否实现量产良率，以及能否整合供应商，是ASML面临的关键执行问题。 键合需要六轴对准和无颗粒表面；一个污染物就可能撑开更大一片区域。Howie质疑移动中的测量头如何保持精度，以及数米长的轨道如何保持洁净；Sherry称相关要求“几乎相当于前道工艺”。
• 中国的逻辑折叠路线图，为混合键合设备带来了另一类需求。 Howie以一款华为手机及其分区设计为例，称其频率可达2.7 GHz；此外，路线图还瞄准了全混合键合的数据中心加速器，甚至计划到2030年实现3层堆叠。相关良率下降意味着“要用更多设备，才能得到同样的良品产出”，体现了中国在工艺受限下继续推进扩产的努力。
• 技术路径分化最明显的证据，已经体现在芯片设计上。 Howie对比了AMD的缓存堆叠与华为将核心内部组件分布到不同层的做法。Sherry认为，国内化正从政府主导转向晶圆厂与供应商协作；出口管制“可能加速”这一进程，但她没有预测政策走向。
• Sherry Zhang 更大的High-NA掩模版将恢复完整曝光场面积，并支持ASML提高设备售价。 计划在2030年前后采用的6×12英寸掩模版，旨在突破目前约400 mm²的半场限制，恢复至850 mm²；这要求掩模版生产、防尘膜、检测和搬运环节同步调整。Sherry将吞吐量提升与ASML的“基于价值的定价”联系起来；要实现这一收益，整个供应链必须协同推进。

Moonshots SpaceX AI业务增长830%、OpenAI智能体撒谎，一家初创公司把汞变成黄金 | EP #305

• Alexander Wissner-Gross 嘉宾对AI的瓶颈究竟在散热、芯片还是协同，分歧明显。 Dave区分了两类问题：据称有15 GW芯片因缺乏合适设施而闲置；更长期的约束则是封装和内存短缺，内存价格已涨至10倍。Alex称瓶颈是“经济学上的虚构”，因为算法能在硬件不变的情况下持续改进；Salim强调的则是软件、制造、基础设施和组织之间“节奏层”的错配。

10月22日

Dwarkesh Podcast 2045年的计算机芯片会是什么样？

• Dwarkesh Podcast 现有设备可能只能支撑先进制程晶圆产出约翻一倍，而非10倍；2030年的供给取决于更广泛的产能扩张。 开场一位未具名的Intel发言人称，AI需求“轻松高出我们最大产能40–50%”。Dwarkesh指出，ASML每年生产的EUV设备不到100台，并称到本世纪末，设备产量大幅提升的计划有限。被问到全球设备是否足以将先进制程晶圆产量提高10倍时，Pushkar Ranade回答：“ …
• Ranade认为，Intel在技术上与TSMC只差几个百分点；规模和执行仍是重要短板。 他表示，在性能、功耗或密度上相差几个百分点，“就是吹毛求疵”，更重要的是按时交付，以及良率能否支撑快速爬坡。他反驳了Dwarkesh引用的SemiAnalysis对14A与N2的对标结果。Dwarkesh称，TSMC先进制程晶圆出货量超过Intel的3倍，资本开支约为500亿美元 …
• High-NA EUV是否有价值，取决于芯片架构，而不是单纯比拼设备。 Chris Auth解释，Intel的背面供电放宽了部分正面布线间距要求，因此High-NA对Intel有用；TSMC在没有背面供电的情况下采用更紧密的间距，需要用EUV进行双重图形化。“对他们来说用处不大，对我们来说很有用。”Intel的10nm经历——原定2016年推出 …
• 更远期的3D结构是一种可能性，热管理则是限制因素；这不是对2045年的确定预测。 Auth谈到让晶体管在互连结构中悬浮，并探讨未来10年或20年更复杂的3D结构能带来什么。他认为散热是3D器件的限制因素，同时指出系统层面的分析和仿真工具仍处于起步阶段。Dwarkesh另行提醒，技术路线图通常只能看清约4年。
• 混合键合仍有扩展空间，但最密集的未来应用尚属设想。 Tyler Osborn列出互连间距的变化：15年前第一级互连为130–150 µm，如今Foveros大规模量产达到25 µm，研发中的方案已低于10 µm。他提到，今年IEEE ECTC上发表的一篇论文给出了0.45 µm间距器件的可靠性数据。他表示，更细间距的键合未来可能连 …
• 成本持续上升，正在促使这个风险厌恶的行业提出激进问题。 Ranade表示，晶圆厂成本每4–5年翻一倍，一台High-NA扫描仪加配套设备约需4亿美元。他质疑图形化成本能否继续以这一速度上涨，并问：“如今真的还需要洁净室吗？”他说，没有哪家现有厂商愿意尝试让人进厂吃汉堡、抽雪茄。Kevin Fischer的行事原则是：“如果你非要等一套 …

10月16日

Pitch The PM EP55 Token 价格因模型迁移而下跌：Silicon Data & Compute Exchange CEO Carmen Li

• Doug 芯片设计公司增多，并不意味着算力供给约束会自动消失。 Doug 强调晶圆制造产能正在扩张；Li 则指出，晶圆制造、封装、基础设施和审批都必须同步扩张。否则，产出仍会受增长最慢的环节限制；专用推理芯片可能补充 Nvidia，而不是取代其全部作用。

10月15日

BG2 Jensen Huang｜AI营收能否支撑资本开支、2027年AI瓶颈、奇点、开放与封闭模型及更多

• Jensen Huang Nvidia 的护城河正从芯片性能转向基础设施规模下的可融资性。 如今每GW对应的 Nvidia 内容已超过400亿美元，高于此前约180亿美元；客户很快可能需要在“完全看不到产品”的情况下，以接近1000亿美元的承诺预订 Vera Rubin Ultra。Huang 的逻辑链条很明确：可互换性加上耐久性，带来可租赁性、生产力、可融资性和更低的 …

10月10日

The a16z Show Intel 前 CEO：为什么现在是打造硬件的最佳时机

• Pat Gelsinger AI 压缩逻辑设计的速度快于把设计变成量产芯片的流程，价值因此转向制造、封装、内存、电力、散热和机架级集成。 Gelsinger 的判断是：「不再是一颗芯片，而是一整机架」（it’s no longer a chip, it’s a rack）：3个月的设计可能要面对9个月的硅片制造，再加上3个月的先进封装；他后来还称，scale-up 和软件部署大约需要18个月——足以让目标工作负载发 …
• The a16z Show 约100家 AI 处理器厂商构成的是过渡性繁荣，而非可持续的市场结构。 Raghu 认为这一数字在历史上前所未有；Guido 预计行业会整合，因为工作负载将超越今天对 prefill/decode 的专门化，成功的硬件需要巨额资本和软件投入，而大客户实际上会决定谁能胜出。Gelsinger 也认同行业可能整合，但认为由智能体生成的优化内核，可能让部分 …
• 光学互连应在2028–2029年前后取代 scale-up I/O 中的铜，但不会进入核心计算—内存复合体内部。 Gelsinger 认为，现在「让铜在5米距离上工作，成本已经高于让光学在100米距离上工作」；剩余障碍是激光器、散热、封装和尚未成熟的供应链，而非基础物理。Guido 表示，可预测的 AI 流量也可能推动光学电路交换，取代原本为未知目的地设计的分组网络。

10月7日

硅谷坐标 Silicon Valley Vector 【硅谷坐标 × 华源HYSTA 特别节目】：AI 的下一程：对话11 位硅谷顶级AI从业者

• 硅谷坐标 Silicon Valley Vector 下一轮基础设施机会来自电力、内存和硬件—软件协同，而不是再造一个孤立模型。 明年拟新增40GW计算能力、甚至超过现有总容量，但电力来源、散热、地方阻力与持续缺货的内存都可能拖慢上线；与此同时，N种模型乘M种硬件无法靠人工逐一优化。嘉宾把从NVIDIA GPU、AMD GPU、Google TPU和AWS Trainium等既有资源中榨出效率的Agent和 …

10月3日

Moonshots Recursive以6.7亿美元押注自我改进AI，Sonnet 5.5命中率达70%，Elon Musk联手牵头五角大楼行动 EP 299

• Richard Socher 推理成本下降，并不意味着前沿算力充裕：物理集群仍然稀缺，老GPU和新系统的价格甚至都可能上涨。 Socher表示，试图采购约1,000台GB200的买家确实面临“算力紧缺”。Diamandis讲述了一笔他称为HGX B300的订单：报价300万美元，转售价格达到500万美元；Socher则说那实际上是NVL72，因此硬件型号仍有歧义。Recursive披露的4.1亿美元 …

Frictionless 为什么内存是 AI 最大的瓶颈：Vikram Sekar｜第170期

• Vikram Sekar 训练仍是统一集群问题，而推理正变成一片“狂野西部”。 从72块GPU、约200 kW的 Blackwell 机架走向144块GPU，意味着功耗超过400 kW，同时冷却和网络难度进一步上升；如果再把576块或1,152块GPU分散到多个机架，连接距离就会超出铜缆的能力范围。推理则缺乏同样的秩序：混合专家模型会从不同位置调用不同权重， …
• 短期内，扩展规模的技术路线越来越偏向光互联，因为铜缆正在逼近物理极限。 铜缆在机架内部可以支持200Gbps，但无法跨越8个机架、约10米的距离；到了400Gbps，Vikram 认为它“已经彻底失效”。共封装光学可以在降低转换功耗的同时提供传输距离，但对于包含100,000块GPU的系统而言，可靠性、替换和大规模部署仍是问题。

10月2日

SemiAnalysis 第034期 - 快速 Token 之争、TPU v7、Vera Rubin 与 Engrams（AI 供应链，InferenceX）

• SemiAnalysis TPU V7 对外开放，构成了 NVIDIA 与 AMD 之外最清晰的潜在第三家竞争者。 团队早期测试显示，TPU V7 几乎占据 Pareto 曲线低成本一侧的全部位置，只有一个点胜过它，外部 TCO 输入约为 $1.21。软件仍不成熟；原生 Torch 支持、TPU vLLM、megakernel、V8，以及 Google 内部环境之外的 GCP 托管，都可能进一 …

No Priors 前沿模型架构的未来：Fractile 创始人兼 CEO Walter Goodwin

• Walter Goodwin Goodwin 认为，今天 AI 芯片的多样性，很多只是品牌包装下的架构相似。 NVIDIA 和 AMD 的 GPU、云厂商 ASIC 以及 TPU，普遍依赖 HBM、tensor core 和 TSMC 先进封装。Fractile 的差异化在于，试图在整条技术栈上推动创新，而不是完成前端设计后将物理实现外包。
• 公司约 150 人的垂直整合团队，旨在缩短工作负载研究、架构、物理设计、封装和晶圆厂协作之间的反馈周期。 Goodwin 认为，能否在部署中胜出，可能取决于能否结构性地锁定 3 至 6 个月的领先：“如果你能找到一种结构性锁定 3 至 6 个月领先的方法，所有这些落地都会由你赢下。”
• Goodwin 预计，即便前沿实验室开发自研芯片，也会继续向多家硬件供应商采购。 自研芯片可以带来议价能力、供应多元化和控制权，但排他性依赖风险极高：如果竞争对手在算法效率上实现 5 倍突破，实验室可能在重新设计硬件的 9 个月里陷入停摆。独立平台依然有价值，因为它们让实验室能够在模型层面竞争，而不必把生存押在单一路线的架构上。

10月1日

Sourcery 我们正逼近芯片的物理极限

• Annie Lamont AI领域值得投资的瓶颈如今集中在电力、内存、散热和数据传输。 Adam梳理了这些约束，Stephen表示，硬件组件很难在一夜之间完成迭代。Micron、SK hynix和Samsung占据内存市场95%的份额，超大规模云厂商大举采购、吞噬供给，推动内存价格今年上涨700%。
• 摩尔定律在晶体管持续缩小数十年后正逼近物理平台。 Stephen表示，晶体管尺寸已接近1纳米，约为人类头发直径的1/100,000，这迫使硬件方案变得“更具创造性”。

9月30日

Sourcery 10万亿美元 AI 基础设施建设遭遇光子学瓶颈

• Yannick De Koninck AI 的下一个瓶颈是连接 GPU 的网络，而不只是 GPU 本身。 模型已无法装进单个 GPU，智能体系统还会在服务器之间发起对延迟敏感的调用；Yannick De Koninck 表示，这要求网络“更扁平”、连接更密集。他最有力的判断是：AI 工厂约一半由 GPU 构成，另一半则是连接这些 GPU 的技术。
• Sourcery 可投资的稀缺性横跨整个制造链条，而不只在光子学本身。 TSMC、GlobalFoundries 和 Tower 已投资硅光子晶圆，但“如果你把一片晶圆交给 NVIDIA，那并不是它订购的产品”——NVIDIA 要的是最终芯片，而最终芯片仍需要激光器、设备和衬底。吞吐量和良率仍然不足，原材料供应集中在少数供应商手中，东西方供应链割裂又 …
• Herwig Van Hove NVIDIA 的加码把一场预期已久的转型变成了眼下的产能问题。 Van Hove 将需求冲击追溯到 ChatGPT 于2022年11月爆红，随后 NVIDIA 在2024年和2025年释放更强信号，并于2026年投资 Lumentum 和 Coherent。他称 NVIDIA 在当年前6个月投入的资金相当于整个市场规模的4倍，这揭示了供需错配 …
• Sourcery Themaa 正利用收购的一家欧洲晶圆厂，将新设施建设压缩到2027年投产、2028年全面爬坡。 该工厂距 imec 20公里，既有现成基础设施，也具备光子学和工业人才。客户要求的产量已经超过 Themaa 所谓“极其激进的预测”，但设备可得性、机器性能和衬底仍是约束。
• 欧洲的光子学机会确实可信，但真正的考验在执行文化。 比利时拥有异常深厚的研究密度——Van Hove 称，2000年至2015年，根特大学贡献了全球4,000篇光子学同行评审白皮书的35%——但欧洲并未持续地在本地将自己的创新商业化。Themaa 希望将这一技术基础与快速试错、果断决策的运营文化结合起来，部分参照 De …

9月29日

Shanghao Jin AI token demand

• Shanghao Jin 半导体的核心预期差不是 backlog 有没有，而是市场给 backlog 打了多大的需求折扣。 金认为 post-training 与多 agent 利好 GPU，CPU 和光连接同样不可缺；DRAM 因全行业开始优化存储、价格又高，短期相对没那么乐观。组合层面，他仍认可 Microsoft、Nvidia 的风险收益，而 AVGO 即使业绩无虞，也会因接近 70% 的毛利、 …

9月25日

Frictionless AI支出不可能永远增长：P Equity Research｜EP 167

• P Equity Research 如今的算力短缺，本质上是芯片、内存、封装、电力和建设环节共同构成的复合约束。 CLSA预计ASIC/GPU的供需缺口将持续到2030年、达到73%；B200/B300租赁价格据报已从约5美元涨至每小时7-8美元，甚至已有10年前的 Volta 硬件仍在发挥作用。但嘉宾认为能源“可能是最严重的瓶颈”，并提到数据中心延期和政治阻力。
• 更不显眼的供给约束位于ABF载板、印刷电路板以及可能的磷化铟，网络设备也在拓宽这条交易主线。 ABF产能在2028年之后仍可能受限，网络资本开支未来5年或以约64%的年复合速度增长。这些约束让交易逻辑不再局限于GPU；与此同时，成熟电力设备公司的订单簿已经排到2030年以后。
• 铜和光学的共存时间，可能比光学多头预期的更长。 近封装光学器件可能在2027年开始规模化应用，共封装光学可能在2028-29年放量，但散热、良率和成本因素可能将CPO成为主流的时间推迟到2030年之后。面对不断飙升的内存账单，超大规模云厂商希望“尽可能多地使用铜”，但最终“没有什么比光传播得更快”。

9月23日

SemiAnalysis 第033期 - ClusterMAX 3.0来了！Neocloud排名（Neocloud、GPU）

• SemiAnalysis 真正拉开云厂商差距的不是FLOPS，而是网络；市场需要的是一套开箱即用、性能合理的NCCL“黄金配方”。 Google把自有的非NVIDIA网络集成进NGC容器，获得好评；AWS的定制EFA则不支持构建在NCCL之下的DeepEP式集合通信：“他们通过自建定制scale-out网络省下的钱，最后都付给了工程师”，去对付一张“实际上没人想用”的网络。

9月21日

Frictionless 瓶颈不在芯片：与 Bubble boi 对谈｜EP 166

• Bubble boi Bubble boi 的可投资判断是：AI 的硬约束正从晶体管缩放迁移到封装、互连和内存。 Moore’s Law 曾经大致承诺每2年将晶体管密度翻倍；如今投入数百亿甚至上千亿美元，可能只能换来15–20%的提升。替代方案是扩大芯片面积，让多颗裸片保持一致协同：“无论如何都要获得更多晶体管。”
• NVIDIA 的路线图越来越依赖它无法控制的供应商和技术。 H100 使用一颗大裸片，B200 转向2颗，Rubin 默认使用2颗，Ultra 设计原本计划达到4颗；但据称封装困难反复出现，最终规格下调为每个封装2颗裸片、通过2个封装实现。“我每次看 NVIDIA 的路线图，脑子里只剩一句话：今天根本做不到。”
• AI 硬件如今必须按机架级系统设计，而不是孤立的加速器。 NVIDIA 的 NVL72 连接72个封装，使用大约4颗 NVLink 交换芯片；据称 TPU 团队则把扩展域拉到9,600颗芯片，并将路由逻辑直接嵌入芯片。“这些系统已经不只是芯片”；架构现在横跨计算、网络、内存、prefill 和 decode。