Mike Volpi谈AI基础设施为何能比炒作周期更持久
摘要
- 即使当下的持有者陷入财务困境,AI算力仍可能有用。 Guido认为,AI的实际应用价值高于网络带宽;Volpi则指出,AI服务商的收入增长远强于上一轮周期。他预计,约200家资产负债表薄弱的新型云服务商将经历一轮经济调整,但底层资产仍有用途。资产最终归谁,部分取决于融资、宏观经济和地缘政治。
- 算力稀缺支撑了GPU的使用寿命,但供给追上后未必如此。 讨论提到,按假设中的5年寿命计算,H100用了4年仍在运行,租金也高于此前每GPU小时1.82美元的水平。Guido说,每瓦特带来的Token收入将决定哪些代际的芯片仍值得运行:一旦Vera Rubin算力充足,H100的效率就会显得偏低。
- 芯片供给和系统设计塑造基础设施竞争格局。 Raghu认为,硅片是最主要的供给瓶颈,未来两三年内产能不太可能出现实质变化,甚至5年内也未必。Guido预计,客户会更挑剔地使用Token;高端、面向人的Token,成本可能是Kimi Token的5倍或7倍。讨论也指出,集成式系统是一项优势。
- Cisco的收购史说明,重复执行能力和容忍失败都很重要。 Volpi的团队完成了70笔收购,到2000年前后,被收购业务约贡献一半收入;约三分之一的交易以失败告终。他给创始人的退出判断标准是:是否仍愿意投入,以及业务是否有可信的10倍上行空间,而不是只能翻倍。
- NVIDIA拓宽客户群的努力可能推动创新,但规模效应仍会带来整合。 Volpi认为,在规模经济倾向于集中化的行业,试图永久维持更广泛的客户群「没有意义」。Guido反驳说,超大规模云厂商绕开了Intel的终端客户,学会了制造更好的芯片,这也让NVIDIA有理由培养其他客户。
- AI流量若变得更可预测,复杂分组交换的理由可能减弱。 Guido认为,持续满载的GPU网络对统计复用的需求更低,可以采用更便宜、更确定性的架构。落地需要整个系统和买方达成一致;NVIDIA和Google目前都在出货机架系统,AMD也可能走到这一步。
- 短缺驱动的订单可能夸大需求,Cisco的崩盘就是例子。 Volpi回忆,客户因为预期会被限量配货而提前下单,Cisco则在整个供应链上作出承诺。实际需求回落后,订单降至此前的约四分之一,业绩比预期低约35%至40%,股价在6个月内从80美元跌至9美元。
精读
1. 算力有用,不代表持有者能偿债
Volpi对比互联网周期时,首先谈到供给差异:WDM让光纤容量提高了40至80倍,而计算能力的提升更渐进。Guido认为,AI的实际应用价值高于网络带宽;Volpi则以Anthropic、OpenAI、Fireworks、Together和Modal为例,说明它们的收入增长远超上一轮周期,同时指出毛利率可能不同。主持人估算基础设施支出约占GDP的2%;Guido认为,智能创造的经济价值可能高于通信。
Volpi将资产是否有用与持有者能否偿债分开来看。负债累累的建设者倒下后,光纤仍然有价值;他预计AI算力也会继续发挥作用,但资产归属取决于融资、宏观经济和地缘政治。他提到,最近在NVIDIA的一次交流中谈到约200家新型云服务商,其资产负债表状况并不好。Raghu说,1990年代更多资本来自设备供应商的资产负债表;Volpi认为,如今的资本结构更干净,因为大部分资金来自股权融资,也没有与特定设备绑定。
讨论将光纤可能长达20至30年的寿命,与计算基础设施较短的预期寿命作了对比。Guido回忆,H100曾被认为能用5年,租金为每GPU小时1.82美元。Raghu指出,4年后芯片仍能运行;Volpi说,现在租金约为2.50美元或3美元。Raghu认为,AI软件进步意外延长了资产寿命,这有利于资产融资业务。Volpi说,投资者还没有普遍接受这一观点,但新型云服务商似乎相信它。
Guido提醒,当前租金可能反映了供给短缺,GPU充足后情况可能变化。他说,关键指标是每瓦特带来的Token收入:Hopper的能效低于Blackwell,Blackwell又低于Vera Rubin。如果Vera Rubin供给充足,「就没有理由继续运行H100」。Raghu补充说,需求旺盛、半导体制造受限,使能效较低的资产暂时仍在运行;Volpi认同,供给持续紧张会延长资产寿命。
2. Cisco的崛起与重挫映照NVIDIA的战略选择
Volpi的收购成绩单包括70笔交易:到2000年前后,被收购业务约贡献Cisco一半收入;单笔收购规模很少超过公司市值的4%至5%。约三分之一的交易表现非常好,三分之一尚可,三分之一失败。少数超额回报足以支撑重复出手:一笔5亿美元的收购,两年后带来10亿美元利润。几乎所有交易对价都以股票支付。开放网络协议让收购来的产品能够与Cisco现有产品协同,也让销售团队可以迅速卖出去。
Raghuram提到VMware曾完成50多笔收购,并追问整合方式。Cisco的交易团队不到10人,另有规模更大的中央整合团队,负责制定可重复执行的规则和指引。「公司擅长流程,却不擅长处理一次性的事件。」Volpi离开并购岗位后,整合规模更大、文化更成熟的公司变得更难;他称Scientific Atlanta是「一个巨大的错误」,并说部分整合的效果也不好。
Volpi认为,NVIDIA收购Mellanox是明智之举,但怀疑融资支持的云服务商能否战胜规模经济:即使资助100家航空公司,最终也只会有3家活下来。Guido反驳说,超大规模云厂商把Intel与终端用户隔开,随后学会制造更好的芯片;NVIDIA想要更多客户是可以理解的。Volpi承认,这些投资可能推动创新、让初创公司受益,但认为强行维持一个永久更广的客户群「没有意义」。
Volpi将Cisco崩盘的原因归结为订单和供应链承诺。客户预期会被限量配货,于是过度下单;Cisco则在整个供应链上投入资金作了承诺。需求枯竭后,订单降至此前的约四分之一。Volpi一度把12月的疲软误判为季节性因素,直到1月也没有反弹,才意识到:「糟了,我判断错了。」他回忆,业绩比预期低约35%至40%,股价在6个月内从80美元跌至9美元。
3. 创始人的决心与10倍上行空间决定退出时机
Volpi的出售判断从两个极端开始:强势公司就劝它不要卖;陷入财务困境的公司则帮助它完成退出。更难判断的是中间地带,首先要看创始人是否还愿意投入,带领公司走过下一阶段。如果管理层已经疲惫、态度摇摆,他会说:「那就卖掉,继续往前走。」
第二项判断是业务能否增长10倍,而不只是翻倍。招募朋友、全情投入4年、5年或6年后,情感上很难保持客观。但董事会仍要诚实评估剩余的增长空间。创始人心里怎么想,仍是「最重要的因素」。
Cisco会在潜在收购对象主动求售之前就建立目标名单,对未经邀请的接触则不太关注。Volpi建议创始人去认识大公司和直接竞争对手,把这当成一种「反向信息收集机制」。这些关系有助于理解行业,也能让未来的交易不再那么陌生;等情况变化时,创始人应当已经认识相关人士。他建议每周与NVIDIA、Amazon和OpenAI的人喝一两次咖啡。
4. 硅片短缺利好能优化整套系统的公司
Raghu认为,AI算力和Token的需求几乎没有上限,供给却极其有限。他将硅片视为最主要的瓶颈,尽管电力也有限;要实现实质变化,就需要提高晶圆厂产能,或增加ASML设备产量。他认为,两三年内不太可能出现变化,甚至5年内也未必:「我们都活在Jensen的世界里。」Guido补充说,拥有晶圆厂产能的公司是基础设施行业的关键力量。
Guido预计,需求会先于供给调整。客户可能不再只消费最前沿的Token,而是变得更挑剔,并使用模型路由来考虑价格差异。他举例说,高端、面向人的Token与高端Kimi Token之间,经济成本可能相差5倍或7倍。
讨论指出,行业正转向集成式系统。Raghu说,过去网络负载呈突发性,更容易做复用;如今许多GPU持续运行,组件也依赖NVLink等专有标准。他认为,Google的TPU架构最能体现将系统作为整体来设计,NVIDIA也在朝这个方向发展。讨论提到,最小优化单元正从板卡扩大到机架;在Google的光交换架构中,甚至可能扩大到整个数据中心。
Volpi的投资视角从EUV设备延伸到应用:通过Zeiss反射镜聚焦的光,可能决定聊天机器人能否正常工作。他原本打算在2023年退休,但发现这些相互依赖的关系很有意思。打通瓶颈可能催生市值1万亿美元或5000亿美元的公司,但要理解这些机会,必须「从系统层面思考」。
5. 推理让内存带宽成为芯片的核心优势
Volpi认为,模型架构多样化,包括FP4与FP8、不同的专家数量和参数规模,应该会让不同芯片设计分别适配不同工作负载。Guido看好3D DRAM和混合铜键合,因为推理和更大的KV cache需要大量内存通信。通过芯片上下两面连接,可以实现比沿芯片边缘连接更高的密度。只要KV cache密集型工作负载持续存在,Guido就预计高带宽架构会受益。
讨论以Cerebras说明其中的取舍:能够放进SRAM的模型运行速度很快,一旦需要访问晶圆外的内存,就会面临显著的内存带宽劣势。Raghu说,那个被称为「Sol [?]」的大模型正在Cerebras上运行;Volpi猜测,OpenAI一定做了大量工作才把它装进去。
发言者讨论了将逻辑芯片和内存封装在一起时的散热复杂性,也谈到光互连对热量的敏感性。Guido说:「能用铜实现的,就应该用铜实现。」讨论还提到,机架级设计有利于提高带宽并简化线缆布置。
6. 可预测的AI流量正在挑战分组交换的经济性
Guido解释,互联网分组交换利用流量突发、彼此不同步的特点,通过统计复用提高网络利用率。AI工作负载已经发生变化:链路处于满载状态,训练流量高度可预测。推理流量的可预测性较低,但批处理可以提高可预测性。Guido认为,工作负载的基本特征已经改变。
Guido指出,Broadcom的Tomahawk采用统计复用的分组交换架构。更确定性的方案可以采用光路交换、时分复用,或两者结合。分组交换的复杂性来自内存写入、查表和转发决策;在相对静态的环境里,网络可能不需要那么多智能。「直接照原样发送就行。」Guido认为,这为成本低得多的网络创造了机会,也构成Cisco等现有厂商「创新者的两难」。
讨论以Google的光路交换为例;Raghu追问,为什么重新配置需要约1分钟。Guido说自己并不完全理解这一延迟,并猜测当前使用场景可能相当静态;Raghu则不同意这种说法。Guido说:「给我几毫秒,不要一秒。」Raghu回应说,这项技术或许已经存在,只是缺乏应用场景。
要落地,需要整个系统配合,而不是孤立地换一台交换机。Raghu说,NVIDIA和Google目前都在出货机架系统,AMD也可能走到这一步。发言者讨论其他芯片厂商能否就标准化网络架构达成一致,并将其称作「反叛联盟」;Raghu表示,买方达成共识至关重要。