摘要

Neil Movva 正在把 Sola Research 打造成一家“token 工厂”——这是一家只为一件事优化的推理公司：把单位 token 成本做到行业最低，而且是“遥遥领先”，服务于长时间运行的后台 Agent，而不是聊天机器人。他的核心预测是：到今年年底，工作负载可能变成“后台与实时各占50/50”，但长期会变成“后台90%、实时10%”，因为后台 token 需求没有上限，而人机协同需求受人的注意力时长限制。“每当你把某样东西变便宜10倍，它就会成为一个全新的产品类别”（Whenever you make something ten times cheaper, it’s a new product category）。
GPU 系统中延迟与吞吐量的权衡是根本约束，而 Cursor 把市场带向低延迟后，所有人都选择了延迟。 GPU 本质上是吞吐量机器，最适合处理大批量任务——他的比喻是公交车对私人交通；NVLink 和张量并行可以换取最低延迟，但扩展是次线性的，即用8×硬件换来可能4–5×的速度。如果不再在意延迟，那些每美元 FLOPS 击败 NVIDIA、但缺少互联能力的芯片就有了用武之地，这正是他的技术栈要捕捉的套利空间。
供给侧策略是有意为之的“捡漏”：从“没有坏芯片，只有坏价格”，一路延伸到别人不愿碰的电力和数据中心。 他愿意“在世界任何地方、以任何期限购买任何芯片”，把算力部署在1MW数据中心里——8个冰箱大小的液冷机架、单路供电、没有冗余——并表示“我会买95%的 uptime”，只要价格合适，甚至可能接受80%的 uptime，包括间歇性太阳能和风电，因为失败请求可以迁移，后台 Agent 也能吸收额外延迟。“不是大型一体化钢厂，而是小型钢厂。”
面对泡沫担忧——半导体如今约占 S&P 500 的20%，历史上只有2–4%——他的判断是：今天的资本开支并非投机，不同于互联网泡沫时期的网络设备，也不同于2023–24年的 Hopper 紧缺。训练天然带有投机性；推理算力则因为能立即产生价值而被购买——“你不会囤积 token，而是立刻使用它们……推理不存在投机”（There’s no speculation on inference）——他预计推理支出将单调上升。
两个反共识硬件判断是：按同口径比较，NVIDIA 的 bfloat16 单位功耗性能从 Hopper 到 Blackwell 再到 Rubin 并没有大幅提升；即便失去 TSMC，情况“也不会那么糟”——Intel 最多可能只落后约2倍，远小于芯片战叙事所暗示的差距。他认为真正值得攻克的瓶颈是 HBM，因为“博伊西那帮人不喜欢为周期性业务投入巨额资本”；他的判断是，iPhone 可能削减内存、提高售价，而不是短期内快速建成新的内存工厂。
在前沿实验室与开源的竞争上，他认为“实验室为领先3到6个月支付了巨额溢价”，但怀疑这种溢价能否持续——企业仍在使用 Opus 4.6/4.7，而通过 AI 生成 GitHub 仓库形成的“潜在蒸馏”，从根本上不可能被阻止能力扩散。 “训练出前沿级模型每天都在变得更容易。”
他认为最值得按优先级解决的低效环节是 KV cache 内存——“没有体现出应有的价值”，占用量可能高估了1到2个数量级——以及闲置算力。 NVIDIA 今年将生产500万颗 Blackwell，但他不相信这些芯片都在持续运行，并称全球其他地方的闲置利用率比人们嘲笑的 xAI 集群更糟。终局目标是每天处理1万亿个 token；按 OpenAI 对5.5或5.6的定价，价值至少约500万美元，这意味着他要求成本下降3到6个数量级。

精读

1. Sola Research 押注丰沛供给，目标是成为 token 工厂

Movva 对公司的字面描述是：以“市场上无可匹敌的价格”提供开源 LLM API，同时推出“Sola Boxes”——专为运行数小时、数天乃至数周的 Agent 设计的长时运行 Agent 虚拟机。核心主题是丰沛供给：“机器能够思考”这件事意义如此重大，而现在的任务就是让世界上尽可能多的机器投入思考。
Token 是当前的北极星指标，但不是最终计量单位；终点是结果，让 Agent “自行管理 token 预算”，而不是由公司给工程师设定支出上限，token 数量则变成任务的从属变量。
他提到的两个顺风是开源崛起——客户“在乎拥有智能……你始终拥有模型权重”——以及现有服务商的定位：Baseten、Fireworks、Together AI 都因“一个非常重要的客户 Cursor”而围绕低延迟推理优化。一年前这是正确选择；“从6个月前开始，情况看起来可能是，低延迟并不是唯一需要的东西。”

2. 核心押注：后台 Agent 将吞噬实时工作负载

Patrick 提出“我希望一切都尽可能快”，Movva 则给出了他的标志性重构：“最好的延迟就是没有延迟（the best latency is no latency at all）。当你早上醒来时，工作已经在夜里完成了，你甚至不需要提出请求。” 人在环路中才是瓶颈；Agent 应该按照人的管理节奏运行——你每周检查一次同事，而不是每5分钟检查一次。
证据是测试时算力扩展在去年年底随着 Claude Opus 4.5 变得可下注——那是“第一个多少适合长周期任务的 Agent。它刚发布时相当平庸”——而现在运行1小时已经“相当合适”。沿着这条曲线再走几个点，就能拉出指数增长。
规模逻辑很直接：“我喜欢这个市场，因为它没有上限。”他本人无法在 Codex 或 Claude Code 中消耗多10倍 token——已经饱和；后台消费没有这个天花板。他预计今年年底后台与实时为50/50，长期则变成后台90%、实时10%。

3. 丰沛后台推理释放的应用：1万来源研究与作为工作量证明的安全

当前最好的例子是对“不是100个来源、不是1,000个来源，而是1万个甚至更多来源”进行深度研究。客户 Parallel Web Systems 希望实时索引和监控整个互联网，这是“疯狂的 exabyte 级任务”，需要完全不同规模的智能。
网络安全的故事是：Fable 或 Mythos 刚推出时，社区就希望让它们针对所有曾经写过的代码、以20种不同方式运行，直到“安全变成了工作量证明”——软件有多安全，等于“你花了多少美元购买 Anthropic API，试图攻破自己的软件？”而且前沿能力并不平滑：Haiku 能找到 Fable 找不到的漏洞，反之亦然，因此多样化采样更有价值。
更理想化的版本是主动式 Siri：拥有“对你生活更百科全书式的理解”，在你打开手机时直接提示下一步行动。他说现在还没有完全做到。真正的突破在于“你必须愿意在没有任何回报承诺的情况下花费 token”。软件、形式化数学以及潜在的科学发现等可验证问题，成本正从数百万美元降到数千美元，甚至可能降到几十美元。对于不可验证的任务，他的保留意见是：“我们还没有解决人类品味的问题，我不知道这个问题从根本上是否能被解决。”

4. NVIDIA 的早期基因：张量核心证明了芯片面积的价值，“光速”才是信仰

Movva 第一份工作是在2010年代中期的 NVIDIA。当时管理层在实验室笔记中记录了 ICML/NeurIPS 的研究生使用游戏 GPU 训练模型，并写下“我们应该深入研究这件事”。张量核心，即矩阵乘法加速器，最初需要与图形团队争夺“可能5%、10%”的芯片面积，应用场景首先是计算机视觉卷积。
这种文化遗产是：“他们总是在追逐任何一块硬件的光速上限”——追求理论上可能达到的边界。他今天的版本是：“我们追逐的是100%的光速。我不关心相对竞争对手的数字，只关心绝对数字。”
NVIDIA 的节俭甚至体现在不提供免费牛奶：工程师每月支付1美元加入“milk club”，由俱乐部采购 Costco 牛奶。“我们在 Sola 不这么做。”

5. 延迟与吞吐量的权衡是底层约束，NVLink 本质上是延迟技术

机制在于，GPU 希望把多个用户的任务组成大批次处理，但大批次中的每个请求“会在 GPU 上停留更长时间，因为要和其他人的流量一起被承载”。他的比喻是市中心的公交车与私人交通：公交车服务所有人、频繁停站；汽车则走直达路线。“窄而快，还是宽而慢，是计算机科学中的经典权衡。”
NVLink 可以把一次矩阵乘法拆分到最多8块 GPU 上，从而降低延迟，但扩展并不线性：“你会使用多8倍硬件……可能只得到4到5倍速度。” Patrick 的追问点明了战略核心：NVLink 首先是一项延迟技术。
由于 Sola 不在意低延迟，一块擅长矩阵乘法、但无法与其他芯片通信的芯片，“可能是非常、非常好的每美元算力选择”。Movva 优化的是芯片全生命周期内的 FLOPS/美元，用专家并行或流水线并行替代张量并行，并以低延迟服务无法采用的方式隐藏通信延迟。

6. 从物理原理理解 Cerebras 与 Groq，以及 KV cache 为何是它们的棘手问题

SRAM/DRAM 的区别在于：SRAM 由逻辑裸片上的6T单元组成，速度极快但占用面积大——一块800mm²、尺寸接近 Blackwell 的裸片若全部由 SRAM 构成，也只能容纳个位数 GB；而 NVIDIA 的逻辑裸片上可能只有约500MB。DRAM 则由 Micron、SK Hynix、Samsung 等厂商把电荷写入电容，并且每约50ms刷新一次，就像“不断把数十亿个球抛在空中”。但堆叠为 HBM 后，Blackwell 可以拥有288GB。Cerebras 直接使用整片晶圆，提供约50GB SRAM，带宽达到21PB/s，相比 HBM 的约10TB/s，并获得“一条通往每秒1,000个 token 的路径”。
难题是 KV cache，即对话中每个 token 的存储表示，规模“经常比模型权重还大”。它会随着使用量动态增长，在以 SRAM 为核心的架构上很难处理。“KV cache 会成为你身边的一根大刺。”
他的预测是混合架构。“Transformer 的原罪，是把这个本质上受内存限制的层——attention——紧挨着一个受计算限制的层——MLP。”可以把权重和 MLP 放在 Cerebras 式 SRAM 上，把 attention 放在拥有更大容量的 GPU 上——“我相信 NVIDIA 和 Groq 正在发生的就是这件事”。应把晶圆级芯片视为与 GPU 搭配的加速器，而不是替代品。

7. Transformer 是海绵，下一块数据资源是 RL 训练场

Transformer 胜出的原因是可扩展：“Transformer 是把参数规模从百万级推向万亿级的桥梁”，而 attention “可以表示你想要的任何成对关系”，所以“只要序列中存在任何关系，你就能找到它”。他一直记得 Karpathy 的经验：首先过拟合，以证明这种关系确实存在；“一旦能够过拟合，就可以进行压缩，而泛化正是由压缩产生的。”
数据方面，“互联网是一次性补贴”——大约有30万亿个高质量 token，扩大口径则有300万亿个，“而我们基本上已经把它全部看过了”。即便是随机的 ChatGPT 交互数据，如今也不再提供太多价值：“你从随机人类偏好、未经条件化的人类偏好中得到的信号，现在实际上已经不值钱了。”他认为当前真正重要的是专家级人类偏好。
下一代数据资源是带有可验证任务和自我评分机制的 RL 环境训练场——“环境本身就变成了数据”。他更进一步认为，只要每项任务都可验证，AGI 将通过“不断叠加专用智能，直到不再有空白需要填补”实现；实验室的支出也已经从数据转向 RL 环境。

8. Kernel 如今在白板上编写，软件护城河正在收窄

Kernel 并没有被解决：任何模型偏差，例如新的 RoPE 变体，都会破坏 FlashAttention 的顺畅路径。但工作方式已经改变：“我们现在在白板上写 kernel”——人类负责概念设计，用自然语言描述调度策略，再由模型实现。Tri Dao 的观点是：“你不一定还应该手写 kernel。”
在 Patrick 追问下，他坦承 kernel 技能不是护城河。“像 Mythos 或 GPT-5.6 Sol 这样的涨潮力量，会把所有船都抬起来……在这项能力上，我们都处于前沿模型的下游。”面对 Patrick 关于煤炭的类比，他给出了更细致的回答：大批量矩阵乘法已经达到峰值的70–80%，限制来自功率节流而非软件；NVIDIA 报出的峰值 FLOPS“有些乐观”。真正的前沿是编程整个 NVL72 机架——GB300 出货形式是由72个单元组成的机架——“现在是一场开放竞争，看谁能找出编程整台机架级计算机的方法。”

9. “没有坏芯片，只有坏价格”：捡漏式芯片采购

关于 Blackwell 紧缺，NVIDIA 原本可以通过涨价出清市场，但 Movva 认为，公司也在考虑让最有钱的买家获得过多权力的长期风险；“他们明白，如今算力就是权力。”获取芯片要靠关系，或者“惊人的财力”。
他认为 AMD 的芯片“整体很出色”，问题在于人们不会编程，而其他厂商也没有 NVIDIA 那么多开箱即用的 kernel 工程。“其他人觉得 AMD 不如 NVIDIA，这对我来说是天籁之音。我很高兴他们低估这块芯片。”不过他也承认，这个判断“现在已经不完全正确”，Meta 和 OpenAI 都在大量采购。他还关注 Etched、SambaNova 和 d-Matrix；这些公司的约束在于 TSMC 晶圆配额。
他的立场是：“我们会在世界任何地方、以任何期限购买任何芯片”——TPU、Trainium，什么都可以。“每块芯片都有比较优势。我们要找到这个优势，然后沿着那个方向把它榨干。”

10. 泡沫问题：“与其说我是历史的学生，不如说我是历史的参与者”

Patrick 的铺垫很精准：半导体历史上占 S&P 500 的权重为2–4%，如今已经升至19–21%；Micron 和 SK Hynix 的投资者担心均值回归，因为“长期来看，算力是一种商品”。
Movva 从个人经历回答：他出生于1997年，母亲在互联网泡沫上涨期间任职 Intel，自己记得 Cisco 曾是全球市值最高的公司。区别在于，互联网泡沫时期的网络设备资本开支押注了从未到来的需求；即便2023–24年的 Hopper 紧缺，也主要面向训练，“天然具有投机性”。如今“人们购买 token，是因为它们立即有价值……你不会囤积 token，而是立刻使用它们”，企业也开始为 Claude Code 设定支出上限。“我确实认为推理支出会单调增加。推理不存在投机。”

11. 1MW 数据中心、95% uptime，以及别人不要的太阳能

市场结构是：数据中心原本按照训练需求建设，而训练覆盖的是更大的工作负载集合；同时，规模越大反而越不经济——在美国，GW 级站点基本不可能，100MW 很难，10MW 已接近极限，而“1MW，我认为供应非常充足”。总量上的电力到处都有，但集中式电力并不普遍。液冷可以让1MW容纳约8个冰箱大小的机架。
激进之处在于砍掉冗余：没有柴油备电，只有一条埋地光纤，也不提供故障切换 SLA。“我不会惊讶其中一些数据中心最终降到95%的 uptime……你几乎不可能找到95% uptime的数据中心买家，而我就是第一个买家。”故障会通过稳健的控制平面迁移；后台 Agent 的一次执行多花1分钟、几分钟，甚至10分钟，“我的客户并不在乎，因为他们的 Agent 本来就运行了数小时”。明确的交易条件是：平均吞吐量具备竞争力，P99 不受控制，但经济性无可匹敌。
电力遵循同一套逻辑：“如果价格合适，我甚至能接受80%的 uptime 吗？可能可以。”太阳能和风电的间歇性——最坏情况下可能连续数天或数周停供——“实际上高度可预测”；建模天气，再迁移工作负载。Patrick 给这种策略贴上了准确标签：捡漏。“我不想和 Anthropic 或 OpenAI 竞价争夺算力……我们要建造全球最好的钢厂，但它会通过小型钢厂实现，而不是大型一体化钢厂。”
关于垂直整合，他描述了创始人与 CEO 的分工：“我内心的创始人想把一切都做了……在从头到尾建成最高效系统之前，我永远不会停下”（Patrick 称之为“现实版 Factorio”）；但 CEO 会先利用软件的杠杆，更倾向于签电力购买协议，而不是拥有发电设施，并通过实际表现赢得把更多环节收归内部的资格。

12. 按优先级盘点浪费：KV cache 与闲置芯片

他的低效清单中，算力扩展已经相当高效：前沿 MoE 激活的专家比例更接近1%，而不是10%。但 attention 的内存使用效率很差：“KV cache 压缩得远远不够……没有体现出应有的价值”，每个 token 占用的 KB 可能高估了1到2个数量级。DeepSeek 已经发表了进一步压缩 KV cache 的工作，并取得实质性进展。
更大的丑闻在调度。NVIDIA 今年将生产500万颗 Blackwell——“它们是不是一直都在被使用？我当然怀疑”——但他表示，大量 GPU 闲置在仓库或私人算力池中。“我们都拿 xAI 集群的总 FLOP 利用率问题开玩笑。现实是，世界其他地方的情况糟糕得多。”
晶圆厂方面，不要期待按下按钮就能解决问题——“芯片多生产20%，马上就会出现另一个瓶颈”。他的创造性设想是：TSMC 在收紧制程窗口上投入巨大，试图让最差的芯片匹配最好的芯片；如果把性能与价格的取舍透明化，他很乐意接收更多次品，并扩大美国电力供应，让边际芯片“在数据中心证明自己的价值”。对应到招聘，他筛选的是“100%的好奇心”和对性能工程的热爱；CUDA 经验是“一个巨大的烟雾弹”。

13. 开源与闭源、蒸馏异端，以及 Jensen 为什么不卖 token

他的框架是：“实验室为领先3到6个月支付了巨额溢价……这笔钱可能仍然值得”，但这种溢价能否持续值得怀疑，因为企业仍在使用 Opus 4.6 或4.7。对于把蒸馏视为窃取的观点，他的替代解释是：AI 生成的产物正在充斥公共知识库——“我们认为过去1年创建的仓库中，有多大比例是 Claude Code 写的？”——“潜在蒸馏”还会持续很久，他不认为从根本上可以阻止信息或模型能力扩散。开源也不可能消失：“如果一个领导者退出，就会有新的领导者补位……训练出前沿级模型每天都在变得更容易。”
两个反共识判断是：按同口径比较，bfloat16 单位功耗性能从 Hopper 到 Blackwell 再到 Rubin 几乎没有变化，在 TSMC 5/4/3/2nm 制程之间也类似；因此失去 TSMC 渠道“不会那么糟。供应肯定会受到冲击”，但 Intel “最差也可能只差2倍的单位功耗性能”。对硬件创业者而言，要掌握4个瓶颈——TSMC 晶圆、HBM、先进封装和电力——并且“形成尖峰优势”；HBM 是最值得攻克的环节，因为“博伊西那帮人不喜欢为周期性业务投入巨额资本，他们已经被反复教训过”。结果可能是 iPhone 削减内存、提高售价。
NVIDIA 为什么不自己卖 token？“Jensen 很擅长让他的朋友们成为亿万富翁。”一批多元、渴望增长的 neocloud 足以构成替代供给：如果某家服务商转向 AMD 或垂直整合，就可以由其他服务商接替。与此同时，未来需求的规模极其庞大：每天1万亿个 token，按 OpenAI 对5.5或5.6的定价，至少价值约500万美元，意味着成本需要下降3到6个数量级；不过“对于某种规模的模型，我们正接近把1万亿个 token 的成本做到数万美元”。当被问到市场是否需要如此丰沛的智能时，Movva 回答：“我永远不会相信需求会消失。世界上总是需要智能。”

如何赢下股票推介赛｜一位 Ira Sohn 冠军的经验 84.49 家央企采买进场，史上最热WRC：泡沫被挤压，具身行业进入实战阶段｜14 年从业者的行家鉴别指南