No Priors 第127期|与 SemiAnalysis 创始人兼 CEO Dylan Patel 对谈
摘要
- OpenAI这款紧凑、推理密集型的开放模型,可能把前沿模型以下的智能价格重新打下来。 Dylan预计,这是美国自Llama 3.1 405B以来首个全球领先的开放模型,代码能力尤其突出,部署也比Kimi更容易。Elad Gil说,OpenAI的o1和o3曾一度按GPT-4o单token价格的约4×定价;他预计,开放竞争会“打残”非前沿API的利润率。
- 推理层面的差异化,正从单个kernel转向分布式系统和物理基础设施。 Sarah认为,模型层面的优化最终会变成开源商品;Dylan则反驳说,DeepSeek的推理可能涉及“160块GPU左右”、每个副本超过1000万美元的硬件,以及跨副本共享的缓存。双方最终认为,单节点软件会商品化,但编排、可靠性、网络和基础设施仍具防御性。
- 大约200家neocloud正走向整合,因为风险投资回报与基础设施经济学并不匹配。 运营商从利用率糟糕的GPU出租商,到已经签下4年、5年或6年合同、产能完全售罄的云厂商不等。Dylan说,CoreWeave经常要求长期承诺,对初创公司的报价可能并不划算。一些较弱的玩家现金流已经低于债务偿付。他给出的4条路是:“做得非常、非常大”,转向软件,接受约10%-15% ROE的商业地产回报,或者破产。
- NVIDIA的护城河是一条由硬件、网络和软件执行力组成的“三头龙”,而不只是CUDA。 一家专业芯片公司可能需要做到快2×-4×,随后在制程节点上落后20%-30%,再在内存和网络上失分,最后还会因模型架构变化而失去优势。因此,Dylan认为AMD GPU、Amazon Trainium和Google TPU比芯片初创公司更可能成为第二选择。
- AI基础设施没有单一瓶颈;每解决一个约束,稀缺性就会转移到下一个环节。 CoWoS和HBM仍然紧张,光收发器、建筑、变电站、变压器、发电、许可和电工也加入了清单;Meta甚至在使用临时帐篷式结构,因为建楼耗时太久。这些投资也具有刺激作用:Dylan认为,如果没有AI资本开支、不断上涨的贸易工人工资和寿命15-30年的电力资产,美国经济可能几乎不会增长。
- 美国出口政策,本质上是在谈判美国还能停留在AI价值链的多高位置。 Dylan的排序是先出口服务,再出口token、基础设施,最后才是芯片,同时限制芯片制造工具;但如果完全禁止向中国销售GPU,可能引发稀土矿产报复。即使中国芯片耗电量高出3×,只要中国能提供4×的电力,并理性补贴下游经济价值,它仍可能具备竞争力。
- AI伴侣让人们重新思考人与人的连接,而创始人的竞争行为仍可能左右判断。 Dylan想问Mark Zuckerberg:当人们与始终在线的AI伴侣社交多于彼此交流时,会发生什么。他还承认,自己在看到Cognition的负责人横扫高风险扑克桌后,彻底改变了看法:“也许他能从狮子嘴里夺食”,尽管此前几乎没有对其产品做尽调。
精读
1. 开放权重抬高商品化门槛
Dylan预计,OpenAI的发布将成为美国自Llama 3.1 405B以来首个同类最佳开放模型;此前Mistral曾短暂领先,中国实验室则主导了6-9个月。它在普通聊天上可能更弱,但“代码能力非常强”;工具调用可能很有意思,但也可能令人困惑,因为用户未必能访问模型训练时使用的开放工具调用系统。
发布方式与权重本身同样重要。尽管泄露的权重因为不同寻常的4-bit细节和偏置项而难以运行,OpenAI计划提供定制kernel并与合作伙伴协作,让推理服务商第一天就拿到优化后的技术栈,而不是要求它们自行搭建。
Sarah的前提是,模型优化最终会开源并商品化,竞争因而下沉到基础设施。Dylan反驳说,Together、Fireworks和其他成熟服务商目前能取得更高性能,因为底层实现差异极大;使用开箱即用软件的服务商“没有市场”。
双方的共识是区分节点级优化与系统软件。DeepSeek的推理可能横跨约160块GPU,单个副本需要超过1000万美元硬件,多个副本之间还共享缓存。单节点可以商品化,但编排仍是“非常棘手的分布式系统问题”。
2. 更便宜的推理威胁非前沿API利润池
Sarah引用的另类数据表明,推理仍受成本和延迟约束:Anthropic的API收入已经超过OpenAI,但使用量主要来自未开启思考功能的Claude 4,编码是最突出的增长场景。客户希望获得更多推理能力,却会有意控制用量。
Elad举出的定价例子是:OpenAI曾对o1和o3收取明显高于GPT-4o的token价格,一度约为4×;尽管他认为底层架构基本相同,区别主要在权重和略长的平均上下文。“他们只是因为能这么做,就把这部分拿成了利润。”
DeepSeek、Anthropic和Google已经迫使价格下行;一个有能力的美国开放模型,会再次抬高商品化底线。Dylan引用Jevons悖论称,利润被压缩、模型被做小后,推理可能便宜到足以推动总使用量扩张,而不只是让收入在供应商之间转移。
3. Neocloud要从中间地带走出的4条路
SemiAnalysis持续发现新的neocloud,尽管它跟踪的数量已经约有200家。它们的经济状况差异很大:有些利用率极差,有些则已经签下4年、5年和6年合同、产能完全售罄。以CoreWeave为例,除非客户做出长期承诺,否则它可能避开初创公司,或给出缺乏吸引力的条款。
资本结构进一步拉大了分化。商业地产投资者可以接受10%-15%的股本回报率,但这对风险投资者没有吸引力,而GPU又是短寿命资产。一些陷入困境的运营商以低得惊人的价格向初创公司提供算力,尽管“它们的现金流还不够偿还债务”,最终失败的可能性很高。
Dylan的ClusterMAX框架衡量从接入到跑起工作负载所需的时间、Slurm或Kubernetes就绪度、网络性能、可靠性、安全性和可用性。少数neocloud已经超过Amazon、Google和Microsoft,但大多数还没有;今天的金牌或白金级性能,几个月或几年内就会变成基本门槛。
战略出路非常明确:Together和Nebius向上进入推理API;据报道,CoreWeave也在探索Fireworks,原因相同;Crusoe则通过建设GW级站点走极致规模化路线。否则,“你要么做得非常、非常大”,要么接受商业地产回报,要么破产。
4. 超大规模云的利润率暴露,但云软件仍然重要
Elad认为,neocloud存在的理由包括控制电力协议,或建设其他主体无法实现的规模。与此同时,Amazon、Google和Microsoft仍享有从CPU、存储及传统云经济中继承下来的“荒谬利润率”,这些利润率未必能转移到GPU上。
Dylan认为,GPU客户主要使用开源软件——PyTorch、NVIDIA工具链、开放模型、vLLM和SGLang——而不是能支撑超大规模云利润率的专有云产品。Elad反驳说,有价值的云软件完全可能存在,但几大云厂“并没有交付这种软件”;Sarah表示认同。
尚未满足的产品需求,是客户可以“花钱外包掉”的基础设施可靠性。初创公司不该需要雇佣多个员工来运行模型,最后却发现AI SaaS产品偶尔失败,并且会连续宕机8小时。更好的运维抽象仍是一个真实的软件机会。
5. NVIDIA的护城河是三头执行力之龙
Dylan称NVIDIA为“三头龙”:出色的GPU工程能力、出色的网络能力,以及单看可能只是“还可以”、但整体上远超竞争对手的软件。它的额外优势还包括超过20年的生态建设和庞大的软件库。
超大规模云厂商可以复制大致架构,并通过省掉利润率来取胜:Google有TPU,Amazon有Trainium,Meta有MTIA。NVIDIA与TPU的设计甚至正在内存层级和脉动阵列规模上趋同。但一家独立初创公司必须真正做出不同的东西。
专业化会不断累积惩罚。一家初创公司可能在成本、性能和功耗上落后最新制程节点20%-30%,在内存供应上晚到约1年,再在网络和供应链上失分。名义上的2×-4×优势可能在部署前就消失,尤其是在延期6个月之后。
就连Amazon也曾将Trainium产能到位过慢、AWS营收少了几个百分点归因于Trainium机架集成良率。Dylan因此有条件地选择AMD GPU或Amazon Trainium作为最可能的第二选择;Google TPU实力很强,但主要面向Google内部工作负载。
6. 模型一变,专用芯片就会失效
Cerebras、Groq、SambaNova和Graphcore的架构各不相同,但共享同一个内存押注:大幅增加片上内存,减少对片外带宽的依赖。它们的芯片片上内存约为NVIDIA的10×,而NVIDIA从A100到H100再到Blackwell只增加了约30%。但随着模型变得过大,这一押注遭遇了问题:Cerebras发现,即使是自己的超大芯片也装不下模型。
反向押注同样可能失败。围绕超大计算单元打造的硬件适合Llama 70B这样的稠密模型,但稀疏专家模型会把一次大矩阵乘法拆成许多小矩阵乘法。DeepSeek较小的隐藏维度,可能让这类专用硬件效率低下。
OpenAI体现了信息不对称问题:其开放模型采用刻意“无聊的架构”,而长上下文、KV cache使用方式或其他闭源模型技术带来的优势仍然保密。押注“transformer”本身不够,因为相关工作负载可能在2年硬件周期结束前就已改变。
Sarah认为,第一代初创公司确实识别出了正确的长期工作负载,但也同意架构预测更加困难。Dylan在边缘侧看到了同样的模式:40-50家初创公司输给了从手机和PC改造而来的通用Qualcomm或Intel芯片。在位厂商只需靠近到足以抹平专业化优势的位置。
7. 数据中心稀缺性迁移得比建设者解决问题更快
2023年,约束看起来很简单:先是NVIDIA芯片,随后是CoWoS封装和HBM。这些瓶颈仍在,同时加入了光收发器、数据中心地产、变电站、变压器、发电、并网和劳动力。解决一个约束,可能只会让产出增加约20%,下一个约束就会出现。
例子变得越来越极端。Meta使用临时帐篷式结构,因为传统建筑需要太多时间和人力,但即便如此,俄亥俄州的GPU项目仍因电网问题延期。现场发电又撞上Dylan所说的GE涡轮机“8年积压,或者说4年积压”。
劳动力同样构成硬约束。一家公司在路演中称,它已经预订了某个地区项目所需的全部承包商——“人全被我们拿走了”——迫使竞争对手把工人空运过来。美国电工数量不足,工资正在上涨,而培训周期长于当前建设周期。
因此,执行力也成为模型竞争力的一部分。Dylan说,Microsoft推进Stargate太慢,OpenAI正转向Oracle、CoreWeave、Nscale、G42等公司。他质疑xAI在没有前沿模型的情况下,凭什么获得此前的融资、并取得高于Anthropic的估值,但他认可Elon和异常迅速的Colossus建设:“你得疯一点。”
8. AI资本开支可能正在托住增长,而不是制造崩盘
Dylan反转了衰退叙事:如果没有AI建设,美国经济可能只会弱增长,甚至完全不增长。数据中心支出推高电工工资,并为寿命15-30年的电力资产提供资金;资本开支既推动当前经济活动,也扩大长期产能。
因此,White House AI Action Plan对基础设施的设想远不止GPU和电力。运营一个“曼哈顿大小”的系统,面对不断变化的拓扑、新型硬件、故障和密集网络,需要新增劳动力、引入外籍工人、自动化或机器人,而不仅是增加芯片配额。
软件拥有快速实验周期,物理基础设施则没有。Dylan更广泛的呼吁,是打造“超强执行力”的组织,创造性地解决每一个约束,因为涡轮机下单迟缓、机架集成失败、许可争议或缺少承包商,都可能让收入推迟数年。
9. 出口政策争夺的是价值链最高层
Dylan讲述的黎巴嫩故事,展现了软实力的利害关系:一些世界观来自TikTok的12岁孩子,问旧金山人街上是否有人被枪杀。Hollywood曾无意中传播积极的美国形象;如今碎片化社交媒体也能传播完全不同的形象。
模型同样承载世界观——“你和Claude对话,它有自己的世界观”。因此,Dylan希望全球用户运行美国技术,而不是中国模型,但他将这一目标与任何单一控制制度区分开来。问题在于,谁可以运行这套技术栈,以及在哪里运行。
此前的扩散规则倾向于让Microsoft或Oracle这样的美国运营商在海外建设,同时让规模较小的独立公司难以建设大型海外集群。现任政府放弃了这一做法,但中东产能仍主要涉及美国运营商或客户,包括G42出租给OpenAI等公司的产能。
Dylan的排序是出售“价值最高、利润率最高的东西”:先是服务,再是token、基础设施和实体GPU,同时限制敏感的芯片制造工具。但完全拒绝向中国提供GPU会招致报复;短暂的EDA软件限制和稀土压力,体现了其中的拉扯。
10. 中国可以理性补贴低效芯片
Sarah提出了这一逻辑的含义:如果被迫,中国最终可能造出在性价比上具备竞争力的GPU。Dylan称“可能无法等效”,但指出,即使一块芯片耗电量是3×,只要中国能提供4×的电力,即便使用N−2或4、5年前的制程技术,它仍然可以工作。
相关回报高于硬件利润。模型API可以拥有不错的利润率,基于这些API构建的服务利润率更高,而自动化会创造更大的全经济价值。因此,中国完全可以理性地补贴昂贵芯片,同时通过模型获取收入,并收集提示词、数据库和战略数据。
Dylan以太阳能和电动车类比这种耐心的产业补贴。他说,美国可以通过更严格控制设备、内存组件和晶圆来放慢Huawei,但执行中存在漏洞,包括Huawei被指通过空壳公司获得TSMC晶圆。如何在获取与遏制之间划出那条“巨大的灰色地带”,仍是政策难题。
11. AI伴侣与扑克揭示人的一面
Dylan想问Mark Zuckerberg的是一个哲学问题,而非基础设施问题:当人们通过始终在线的Reality Labs设备,与AI伴侣交谈多于与其他人交谈时,会发生什么?他想知道,结果究竟是更深的连接,还是“越来越潦草、最终彻底脑腐”。
他曾认为Cognition“NGMI”,预计OpenAI、Anthropic或xAI的通用模型会压倒Devin;Claude Code在内部看起来已经更强。但在看到Cognition的Scott在高风险扑克桌上击败CEO和金融专业人士后,他改变了看法:“也许他能赢,也许他能从狮子嘴里夺食。”
这段自白刻意反分析:Dylan几乎没有对Cognition的代码产品做尽调,但创始人的竞争行为改变了他的先验判断。Elad认为收购Windsurf是“一手相当不错的牌”,而Sarah把应用投资的教训归结为押注“活跃的选手”。