第033期 - ClusterMAX 3.0来了！Neocloud排名（Neocloud、GPU）

摘要

• ClusterMAX 3.0迎来实质性洗牌：Nebius与CoreWeave一同进入铂金档，Google Cloud加入Oracle所在的黄金档，Azure降至白银档，AWS、Crusoe和Together全部落入青铜档。 本轮SemiAnalysis评测了77家供应商，其Neocloud模型已覆盖323家，并采访了超过200名终端用户——这样的深度让层级调整不只是凭感觉。
• GPU市场正处于“极其离谱的反向市场”（“ridiculous backwardation”）：买家几乎愿意为几周内能交付的芯片支付任何价格，而等上几个月则能拿到大幅折扣。 Sam Harshe警告，这种环境让所有人看起来都很厉害——“现在业内几乎人人都像天才……哪怕你的五拼Kubernetes彻底坏了”——这意味着那些早期卖不出去的低质量供应商，如今反而能以更高利润率签单。
• 推理端点暗藏成本雷区：在初步Endpoint X测试中，一家“非常知名的供应商”的缓存命中率只有75%，而优质同行为99%；仅这一差距，就让相同模型、相同精度下的总账单大致翻倍。 Pratt Bhatt的结论是，不能“直接出去装上vLLM……就假定能拿到80%的利润率”；真正的端点生意，核心在缓存感知路由和自定义内核。
• 真正拉开云厂商差距的不是FLOPS，而是网络；市场需要的是一套开箱即用、性能合理的NCCL“黄金配方”。 Google把自有的非NVIDIA网络集成进NGC容器，获得好评；AWS的定制EFA则不支持构建在NCCL之下的DeepEP式集合通信：“他们通过自建定制scale-out网络省下的钱，最后都付给了工程师”，去对付一张“实际上没人想用”的网络。
• ClusterMAX之所以重要，根源在于融资背景：截至FY27末，NVIDIA表外兜底规模已超过5880亿美元，预计到2031年末将突破2万亿美元；Jordan谨慎估计，仅供应链一项（HBM等）FY31就约为8270亿美元。 Sam Harshe将这一时刻概括为：“资金多到超过优质投资机会，但这些钱仍然在意质量”——这正是参数保险、标准化SLA以及SemiAnalysis新信用与市场模型出现的原因。
• 老GPU的终值正在以利多方向落地，正面反驳Dr. Burry关于折旧的批评：4年期H100合约如今仍在签署，而“OpenAI从未放弃过一块A100”——那批芯片来自2020年。 背后的物理约束是，GB300机架功耗为140–200kW，而传统机房只有30–40kW，无法容纳Vera Rubin；因此，这些场地很可能会让H100“一直运行到还能开机为止”。
• 安全状况堪称“一触即爆”：集群软件存在2年前的CVE，没有租户隔离，邻居的Grafana面板也能被看到；Pratt Bhatt拒绝用经过粉饰的说法描述这起事件：“这是OpenAI对Hugging Face发起的网络攻击”（“It was the Hugging Face cyber attack by OpenAI”），其根源是“几乎无法理解地平庸的错误配置”。 教训是，防御并不需要前沿AI，只需要补丁内核、正确的Kubernetes权限，以及监控智能体访问互联网的行为。
• 托管式RL训练是下一波产品浪潮，但Sam坦言：“我仍然不认为它已经有市场”（“I still don’t think there’s a market for it yet”）。 RL同时叠加了推理和训练的难点，以及环境部署——包括直接运行手机硬件的“服务器农场”；托管训练供应商还需要前置部署工程师，并实质性地对模型结果做出保证，而CoreWeave和Nebius从未被要求做出这种承诺。

精读

1. 3.0层级调整：Nebius上升，超大规模云厂商分散

• Jordan梳理的核心变化是：Nebius与CoreWeave一同进入铂金档；黄金档由Oracle和新晋的Google Cloud组成；白银档中，Azure下调，Firmus和Lambda维持原位，GMI上调，TensorWave不变；青铜档新增AWS、Crusoe和Together，三家均下调。
• 排名背后的评测规模也在扩大：本轮测试了77家供应商，Neocloud模型覆盖范围扩展至323家，并完成“远超200名”终端用户访谈；此外还预告了Endpoint X、Post-Training X、Harness X和Sandbox X等衍生项目。“我们什么都会测。”

2. 反向市场让差供应商看起来像天才

• Sam对买家关注点的判断很直接：先看价格曲线。“人们几乎愿意为几周内能拿到的任何芯片支付任何价格”，而愿意等上几个月则能获得大幅折扣——所以“哪怕存储几乎不能用，只要你有GPU，就会有人愿意付出相当不错的利润率”。Jordan补充说，早期卖不出去的供应商通常意味着质量存在问题，但现在反而能以更好的利润率签单。
• Pratt解释了为什么一些连Slurm都做不好的云厂商还在推出4款新产品：算力利润率太高，所有人都想分实验室的“蛋糕”，于是开始向上攀爬，进入托管训练和托管推理。他的主线判断是：“一切都指向算力集中化。”
• Sam则强调，枯燥的底层仍有钱可赚：不需要任何花哨功能，仅仅把Slurm和Kubernetes做到“坚不可摧”就还有大量工作；每GPU小时多收几美分，关键是“选定一条路，并把它做到极致”。

3. 有些健康检查“还不如没有”

• 方法论很简单：主动检查会在集群基本空闲时运行真实或虚拟工作负载，通常以可抢占方式执行；被动检查则在后台运行，额外开销接近于零。SemiAnalysis会注入合成XID故障——把真实GPU硬件故障会产生的精确消息写入内核环形缓冲区——然后记录HGX机器的故障发现、节点排空和热备替换时间；对于NVL72机架，则记录重启和修复时间。
• 最典型的失败案例来自Amazon HyperPod Slurm的首次测试：自动修复健康检查“需要节点先处于健康状态才能运行”，但它本身又是把节点重新纳入集群所必需的步骤。“这里存在明显矛盾……这个健康检查从一开始就没有机会运行。”Sam估计，整个测试中大概有5到10个类似案例。
• 这件事的商业意义在于，客户能否就已付费但不可用的GPU获得补偿，取决于签署的SLA信用条款，而条款必须明确定义停机时间。因此SemiAnalysis正在推动一套示范SLA，将停机、节点与机架及站点的边界、不可抗力等内容定义为行业标准。

4. 端点经济学：75%的缓存命中率会让账单翻倍

• Pratt在Endpoint X初步测试中的发现，领先于一轮并发数达到24或更高的“英雄级测试”：一家未具名的非常知名供应商，在约800个token的回放轨迹上缓存命中率只有75%，而优质供应商达到99%。仅这一项差距，“就几乎会让总成本翻倍……如果你现在支付$200，完全相同的模型、完全相同的精度，你会支付$400”，而且速度可能更慢。“这非常令人震惊。”
• 更深层的结论是，两人都认同：开源的vLLM和SGLang在规模较小时“运行得相当不错”，但一旦面对真实客户就会暴露问题，这正是内核和超大内核初创公司存在的原因。那些把端点当成“类似Lambda函数”、以为能拿到80%利润率的Neocloud，最终会和客户一样受到冲击。

5. 网络才是差异化所在，定制网络是虚假节省

• Sam给供应商的最简单建议是：交付一套NCCL“黄金配方”，让用户开箱即用就能获得合理性能；应覆盖不同消息大小和节点数量，曲线应呈平滑的逻辑斯蒂形态，不要出现128KB等“病态消息大小”导致性能下坠。“我可以随心所欲地调优……但集群里应该有一套东西等着我按回车就能运行”，这才是基本要求。
• Google和AWS形成鲜明对比：Google把基于非NVIDIA芯片的网络集成进NGC容器，因此NCCL可以直接工作；EFA虽然比上次测试更容易使用，但完全不支持DeepEP或Mooncake式集合通信库，后者建立在比NCCL更底层的NVSHMEM之上。Sam初步估计，大型集群BOM中约75–80%是网络以外的部分，因此为了节省几个百分点，却阻断“DeepSeek通信配方”，“绝对不值得”。
• Firmus的案例来自GB300测试：在一个受通信带宽约束的TorchTitan专家并行任务中，通信时间成为瓶颈。Jordan称，Firmus在部分测试中达到4,455 tokens/sec/GPU，其他供应商约为3,500；但他同时又将Firmus描述为“性能差得多……大约低50%”，原始数字与这一比较之间的矛盾在节目中没有被解决，本文保留双方说法。Jordan强调，“这不是一家差的供应商”——Firmus已经部署了数千块GB300，并在联合测试后交付了修复；但这些实战伤痕才是关键：“明年你要把Vera Rubin交给谁？”

6. Agentic coding：表面有用，稳定地把自己绊倒

• 测试本身从开源CMAX CLI开始，并在外层套上智能体来调试。模型闲聊也颇有时代感：Sam自称“5.6派”，认为Aider“做得实在太不成熟”，换成5.6后能推进更多工作，还说“肯定不是Claude”——市场传闻是Claude的写作能力已经修好了，但他要亲眼看到才会相信。
• Sam对这一现象的概括是：集群编排处于“智能体恰好足够接近正确、表面上有用，但又足够偏离正确、每次都能把自己的脚炸掉”的完美区间。训练数据里既有优秀的Slurm模式，也有大量不适用的模式，因此智能体可能会把你的编排重排得“比你自己做得更好……但它会做错”。Sam举出的虚假确定性案例是：让系统检查预计端点成本，返回了30万–40万美元。

7. 本季最佳Bug：脏inode死锁吞掉一个节点

• Sam讲述了一封毫无预兆的节点宕机邮件：问题最终追溯到一个旧版Linux内核——上游多年前已经修复相关Bug——其中用于重新分配脏inode的算法是二次复杂度。Slurm任务拆除时，该算法锁死了一个NUMA节点上的所有CPU核心，导致Lustre客户端得不到CPU时间，并触发一个自身也无法完成的存储健康检查。数小时后，“它一恢复健康，就像警察已经等在门外一样”——节点最终因文件系统健康检查失败而被移出集群，但根因其实是CPU问题，不是GPU问题。
• 这份工作的元笑话也解释了它的存在意义：ClusterMAX扮演的是反性能工程师角色——“在这里，我们就是要Bug。否则我们没事可做……如果我遇到一个真正的性能工程师并和他握手，我们两个都会消失。”

8. 安全：平庸的错误配置，而不是科幻威胁

• Pratt在测试中遇到的一个问题是：前沿模型既会拒绝执行漏洞利用任务，也会制造大量误报。有一个模型声称已经访问了集群控制平面，经过2小时调试后却承认整个PoC是假的。他的结论是：“幻觉大概已经消失了吗？大概率是。但误报消失了吗？绝对没有。”
• Pratt在节目中公开批评道：“我得停止使用OpenAI律师提供的委婉说法……这是OpenAI对Hugging Face发起的网络攻击。”事件背后是几十个“几乎无法理解地平庸的错误配置”：可被利用进行权限提升的内核CVE、粗糙的Kubernetes权限，以及没有监控智能体不受限制的互联网访问。供应商不能再拿“勇敢新世界”当借口。
• Neocloud的现状与此吻合：基础集群软件上仍有2年前的CVE，租户隔离存在缺口，邻居的Grafana面板可以被看到，而集群还在使用CUDA Toolkit 12.0，尽管13.2——“或者不管最新版本是多少”——已经出现。这是一个“随时可能爆炸的火药桶”，而相关工具只会越来越强。参与漏洞赏金计划的Neocloud很少；Jordan提到，OpenAI遭到入侵本身就是漏洞赏金计划的一部分，HackerOne的AI研究人员还在一个monorepo上提交了第1,000,001个PR，以证明自己拥有完整访问权限。

9. 融资、兜底机制，以及老GPU为何不会消失

• Sam对宏观环境的概括是：“资金多到超过优质投资机会，但这些钱仍然在意质量。”可投保的两类风险是延迟交付（验收失败）和触发取消权的SLA违约。因此，参数保险公司开始用精算输入承保集群风险，包括冗余电力与冷却、备件仓库、人员配置和洪泛区位置等；SemiAnalysis则提供示范SLA。风险之大在于，有些初创公司会把“整整100%的种子轮融资”投入Neocloud容量。
• 新信用与市场模型背后的数字是：截至FY27末，NVIDIA的表外兜底规模超过5880亿美元，预计到2031年末突破2万亿美元；Jordan谨慎补充，单供应链一项——包括HBM等，但不含数据中心建设——FY31预计约为8270亿美元。“这相当疯狂。”而且并非只有NVIDIA如此，Amazon和Google也在用同样的方式动用资产负债表。
• 市场走势与看空折旧的观点相反：如今仍有人签署4年期H100合约，而OpenAI从未放弃过自己在2020年拿到的A100。物理层面的锁定效应是，GB300机架功耗达到140kW，峰值接近200kW，无法放进只有30–40kW的传统机房；后者也无法承载Vera Rubin。因此，这些机房很可能会继续运行那些极具价值的H100，直到相关合约到期。

10. 托管式RL训练：比集群更难，也可能还为时过早

• Sam的判断保留了原有的谨慎：“我仍然不认为它已经有市场。我说的是‘还没有’。”Pratt解释说，RL的难度远超其表面规模：它把推理和训练中最难的部分同步叠加在一起，还要部署环境；一家同时做评测和RL环境的实验室，运行的其实是“只负责运行环境的服务器农场”，其中包括iPhone和Android硬件。
• Sam的强烈判断是，只有当供应商负责几乎所有事情时，托管训练才会真正做大：需要前置部署工程师——“要FDR，不是FTE”——搭建环境，并在训练过程中手把手带着客户走完流程。这是训练前云厂商从未做出的承诺：CoreWeave和Nebius从来不需要保证客户训练出的模型一定能工作。支持这一点的案例是：“Anthropic去年购买的环境最多——这就是他们的编码模型为什么那么强。”
• 关于框架之争（Slime、MILES、veRL、PRIME-RL），MILES“绝对惊艳……对智能体非常友好”，而PRIME-RL在Pratt还缺GPU时就已经让他觉得很好用；但训练器和推理端不匹配，可能在100个步骤中不断累积，最终让训练崩溃。构建这类框架“比人们想象的难得多”。Sam最后用一句话概括了整个愿景：“我希望ClusterMAX 4.0无话可写……集群越好，就越没有东西可说。”

核验说明

• Firmus段落同时提到Firmus为4,455 tokens/sec/GPU、其他供应商约为3,500，以及Firmus“性能差得多……大约低50%”；原始文字没有解释这一内部比较，因此本文未推断其中任何方向，只保留Jordan明确说出的表述。