摘要

Fireworks 联创 Benny Chen 判断开源 catch up 的速度超出他的预期：平台日均 token 已达四五十万亿，超过 Gemini 与 OpenAI 公开的 B2B API 量。 但蒸馏“并不是一个特别可靠的路径”——它依赖闭源 API 的 security gap，而“这个东西修起来都很快”；只要开源相关的 eval 量大且清晰、数据价格下降，开源的 success 并不 contingent on 蒸馏。
闭源模型的长期优势可能更多在用户心智与 go-to-market，而不只是能力领先。 “No one gets fired for buying IBM”——企业采购偏保守，心智变化慢，这是闭源接下来两三年的优势；run rate 大头最终可能归开源，闭源仍能留住价格不敏感的客户。SOTA 厂商与云厂商的分成比例可能越来越大，导致“ARR 往上涨，但 GAAP revenue 不一定一直涨”。
他明确站队 vertical agent：把一个 vertical 做好与解决黎曼猜想“可能是完全两种不同的工作”，而 Frontier Lab 可能更在意后者。 在主持人的假设下，闭源全力投入法律赛道“肯定可以”打败 Harvey/EvenUp，“但这样的话就支撑不了他们一个 T 的估值”；去年被新闭源模型洗掉的 fine-tune 模型很多，今年“洗出去的少了很多”——一个非常 positive 的 signal。
绝大部分工作正被重构为 coding：连 PowerPoint 和 Excel 也是 coding 问题，vertical 工具可能被转换成 RL 的靶子。 反直觉的增量在“照顾文科生”——slides、Word、video generation 都起来了；computer use 一年半前令他“惊为天人”，如今反转为偏小的 vertical，因为文本模型便宜，大家为 cut cost 把工作流往纯文本靠。
只看 token 消耗量“有一点 deceptive”，revenue 才是最真实的信号。 付费意愿会流向最好的模型，Fireworks 做定制模型的 benchmark 是“能不能这个 task 超过 Opus”；开源在 coding 的渗透率仍偏低，Claude Code/Codex 的 ARR 远高于开源同类，本质上很多时候是 go-to-market 问题而非 technical 问题。
eval 是企业侧最稀缺的 muscle：2026 年了还有大量公司靠 vibe 做 POC，这是 POC 失败的重要原因。 “能做 eval 的人真的少之又少”，把 eval 写好、教老板判断开源或闭源采购，“就把你工资三五倍都省出来了”；新旧 SaaS 的差别没那么大，只是从写 unit test 转到写 eval。
护城河与宏观：Fireworks 目前走“二房东”路线，不自己做硬件，incentive align 在客户的 inference traffic，“通关的大 boss”是 CSP。 大型玩家的账不是先算 ROI，而是错过这波“就再也回不到牌桌上”，overspend 不是 existential risk；他给的观察指标是债券评级与 worst moment 时市场有没有钱捞人；开源追上“绝对是 favor infrastructure provider”——去年 DeepSeek 出来英伟达跌，“我当时也是不懂”。

精读

1. 开源 catch up 比预期更快，蒸馏靠不住

Benny 的出发点：团队多出身 PyTorch/Meta，坚信有价值的软件层开源 eventually 会 catch up——operating system、database 都是先例。“只是没有想到它 catch up 得这么快”：K three、D S P four Flash、最新的 Muse 接连出现，Meta 也说要开源 Spark，“开源这边竞争如此激烈，且模型的性价比这么高，确实让我非常意外”。
对蒸馏的判断很干脆：它吃的是闭源 API 的 security gap——大模型输出重喂小模型、套出 thinking token——“这个东西修起来都很快，没有理由闭源厂商做不好”。“长期来说蒸馏并不是一个特别可靠的路径”；Meta 蒸得少、Nemotron 也可能没有蒸馏很多，只要 eval 量大且清晰、数据价格下降，“不一定需要蒸馏”。
非蒸馏阵营的 gap 也在收敛：Meta“相对来说没那么大了”，有 talent、有 GPU，能继续 scale up；Nemotron、Reflection、Thinking Machines 都有东西可以 catch up，“gap 会越来越小”。

2. 闭源的长期优势可能是用户心智，不只是能力

苹果/安卓类比：他自己觉得 Google 手机“好用多了”，但价格不敏感时还是买苹果——“利润大头也可能还是被一直领先的那个人拿走，跟开源能做得很大可能完全不冲突”。Run rate 大头最后可能在开源，闭源永远能 claim 一些优势。
企业端的心智更慢：“No one gets fired for buying IBM”——只要大家相信采购 Claude 或 OpenAI 就能买到更好的模型，变化就慢，“这可能是他们接下来两三年的优势。五年十年之后的，确实我都看不清了”。
ARR 会继续涨，但 accounting 存疑：Anthropic 可能把很多 revenue 百分之百算进去，而分给云厂商的比例可能越来越大——“ARR 往上涨，但 GAAP revenue 不一定会一直涨”。SOTA 厂商的话语权“会弱一点”，上市后 visibility 可能会好些。

3. 站队 vertical：Jagged Intelligence 与麦当劳类比

把 vertical 做好需要大量测试与 eval 表达：Harvey 是特别出名的 legal agent；Doximity 是北美最大的医生使用的 ChatGPT 类应用，偏 Deep Research、确保医生看到正确 reference；Heidi 是北美以外最大的 medical scribe/search company。Benny 认为，一个 fintech lab 若要把所有这些细分工作都做好，成本会特别高，ROI 可能特别低。
主持人的尖锐假设——闭源模型厂商全力投入法律 vertical 能不能打败 Harvey 和 EvenUp？Benny 回答“肯定是可以的”，但“这样的话就支撑不了它们一个 trillion-dollar 的估值”，对它们来说不是聪明的行为。Vertical tune 出来的是 jagged intelligence：某个方向做得很好，但“能不能解决黎曼猜想？我觉得是绝对不可能的”。
他的餐饮类比：名厨只做好一道菜才敢收很多钱，AGI 公司要做的是把 McDonald’s 做好——进中国调中国口味可以，但不可能同时改好加州和 Kentucky 的口味，“如果都改的话，其实我觉得它跟 In-N-Out 也没有什么本质差别”。真有 AGI 公司照顾好所有口味，“肯定能挣很多很多钱，只是现在我们还没有观察到这一点”。

4. Token 流向：绝大部分工作被重构为 coding，文科生需求反直觉崛起

随融资公开的数字：四五十万亿 token 一天，“比 Gemini 和 OpenAI 公开的数字都要大”——即平台上开源模型的量已超过两家的 B2B API 量。
头部消耗是 coding、medical、co-work，且“绝大部分工作都被重新 frame 成了 coding 问题”：找到 vertical SaaS 工具→转成 RL 的靶子→训练模型熟练调用。“原先我们确实没有想到 PowerPoint 跟 Excel 其实也是 coding 问题”；不是 coding 的就是 Deep Research，两大类别。
反直觉的增长方向：“大家绝大部分时间都花在照顾理科生上面”，但 slides、Word、video generation 这些文科生需求在起来，“绝大部分的工作最后可能还是偏服务于人”；OpenAI 把数学榜刷很高，“意义在哪里，我不是很确定”。
Computer use 的反转：一年半前它出来时“惊为天人”——模型不用再调用各种乱七八糟的 API，直接用电脑什么活都干；现在反过来，它是偏小的 vertical，“绝大部分 vertical 都从文字那边走”——文本模型便宜，大家为 cut cost 往文本靠，中国开源模型靠纯文本就做到很高 ARR。Vision model 价格下降、能力提升后“还是很有前途”，只是路径还在探索。

5. 谁在被用：国内五家轮流坐庄

排名“很难讲，谁刚 launch 谁的 traffic 就上去”：国内五家——Kimi、GLM、Qwen、MiniMax、DeepSeek——轮着来；“比如今天是 2026 年 8 月的话，肯定是 Kimi 的 traffic 最大”。海外则可能是 Nemotron、Llama、Gemma；以前是 Llama，现在 Muse 可能比较多。
公开 router 榜有水分：被 free traffic 影响——某些公司做 incentive 让大家在 OpenRouter 上免费用，扭曲了看到的比例。

6. Token 量 deceptive，revenue 才 honest

他主动泼冷水：“看 token 消耗量没有那么 honest……光看 token 消耗量我觉得有一点 deceptive。” Benny 举例说，Fireworks 去年把每个 token 的成本从一百个单位降到一个单位，但 infra 的增长更快，“可能已经有七十个单位”。
“看 revenue 是最真实的”：付费意愿会往最好的模型移动，做 specialized intelligence 时看的不是性价比而是绝对最好——“能不能这个 task 超过 Opus”，以 frontier model 和客户 revenue 为 benchmark。
Coding 的开源渗透率“最近还是偏低”：Twitter 上“vibe coding 用 DeepSeek V4 永远用不完”的笑话很多，但 Claude Code/Codex 的 ARR 仍远高于开源同类，“这个工作很多时候本质上是 go-to-market，而不是一个 technical 的工作”——这也是推 Fireworks Nexus 的原因。
TAM 要拆开看：token 数字“肯定会一直往上涨”，revenue 方向不确定——General Electric 类比：“最后大家都用上了电，最挣钱的公司也不一定是 General Electric”。

7. 企业采购：信任、multi-tenancy 与 eval 这块缺失的 muscle

采购的核心是信任：合同签一两年，客户“不会特别在意我们到底是不是一个二道贩子”，在意的是平台 serve 的 model 能否 fulfill 未来需求。闭源把信任建得更好——“每天可以在 Twitter 上发我们又 hack 了某个 system，又把黎曼猜想解出来了”；开源模型公司的 go-to-market capability 远弱于闭源，mind share 绝大部分还在闭源上面。
部署从本地转向云端：本质也是信任问题加 multi-tenancy 经济性——多数企业自己 saturate 不了租的 GPU，aggregate demand 后一起 share cost，“双方的 ROI 都会更好”。
POC 失败的重要原因是 eval 不清晰：2026 年了还有不少客户是 vibe 的，“试一下效果好不好就 OK”，哪怕 AI 已占其 call center 运营成本的很大比例。“很多 engineer 还担心失业，我觉得能做 eval 的人真的少之又少……把 eval 写好，就把你工资三五倍都省出来了。”
他自称的“暴论”：新旧 SaaS 公司差别甚至不大——以前是 SQL engine 要过 unit test，现在是 agent deliver 前要过 eval，都需要沉淀，只是大家有多少人能多快适应 transition 而已。

8. 推理优化生意：缓存、workload 分布与 0.83 次的路由

推理优化“还有很远的路”：新模型刚上线与优化一年后的极致效果差别很大，Fireworks 的工作是缩短这个时间；缓存是重点，“本质上不一定在 serving runtime 本身，而是在 supporting infrastructure”——一个非常 labor-intensive 的活。
对比 1P API 的优势在分布：serve 的绝大多数是 customized model，见过的 workload/traffic pattern 更多更杂，甚至反过来给开源模型厂商指出他们没测到的 workload。
主持人引用 Fireworks 与 Harvey 的联合研究称，前沿模型平均每个任务只被请教 0.83 次，但质量超过单独使用最强模型：Opus 做 executor、GLM 做 advisor，把长上下文任务拆成短上下文，因为 LLM context 变长后效果会下降。Benny 的类比是 CPU 性能优化：把底层模型当文本 processor，按其特性拆 harness，“把最适合的模型放到最适合的位置上面去”。

9. 硬件的真问题：谁能让模型 overfit 到自己的卡上

核心是 compute 与 memory 的无量纲比例（他推荐 Dylan Patel 两三个月前的白板视频）：模型 train 之前就决定了要 serve 在什么硬件上；NVIDIA 和 AMD 比例接近所以互迁快，放到 ASIC 上“要花很大力气”。
于是问题反转：如果有人拿到特别便宜的硬件、量大且 ecosystem 好，用足够的 incentive 让做模型的人 overfit 到自己的卡上——“能做这个 incentive 的人，ratio 多奇怪最后都能成功；做不到的，ratio 跟 NVIDIA 一模一样也不能成功”。
他引黄仁勋的话点题：“你现在只要有电，你不买我的卡，你甚至会亏得底儿掉”——买卡近乎 cost-neutral，很快挣回来；其他卡没有这个特性。

10. 定制模型：谁该定制、可能上千个 environment、回炉看开源 release cycle

标准线：vertical SaaS company 适合定制——Doximity 了解十万个医生的需求，Harvey cover 各类律所，eval 才够全；具体到单个医院或 legal practice 则不建议，“更适合把工作流固化到一个 skill 上面，或者写一些内部工具”。
成本大头是 GPU，其次是 data——要和客户一起看 reward hacking behavior、environment stability、怎么 scale up environment。数据量“可能上千个 environment 就可以”：RL 过程中模型持续探索，每个 step 假设 rollout 128 次，一千个 environment 就可能生成 128K 条数据。
回炉是必须的：新模型 launch 就帮客户 replace；只要 eval 固化，replace 很快，节奏“depend on the open-source model release cycle”。去年被闭源新模型洗出去的定制模型很多，今年少了很多——“很多 vertical 前进的方向，可能跟 frontier lab 前进的方向有点不一样”。

11. 护城河：二房东、incentive 对齐 inference，大 boss 是 CSP

目前不买 GPU：“我们更偏二房东的这种赛道”，把 compute layer 的软件层做好。与 Nebius 等的差别在于真信 specialized intelligence——“绝大部分 traffic 都不是 vanilla base model，都是 customized model”，而“绝大部分 profit 是在效果好的 model 上面”，客户能 charge 更多，Fireworks 才能分到更多。
与 AI service/consulting 公司的区别是 incentive alignment：consulting 或 pure training infrastructure company 更 align 在 training traffic，Fireworks align 在客户的 inference traffic——“他们通过 inference 能挣钱，我们通过他们挣的钱能分一点回来”。真正的对手不是 new cloud 而是 CSP，“它们才是通关的大 boss”；目前与 Azure 合作最紧密——在 Azure 上是 1P，可直接用 Azure credit 购买 Fireworks 服务。
对 RSI 的坦率回答：如果 AGI 把 kernel 优化、推理优化、training、post-training 全自动化，“我觉得确实就没什么核心竞争力”——但难点在于 AGI 也得跟客户聊需求，“它确实可能能解决黎曼猜想，但是我不确定它能不能解决客户需求”。未来一两年最大挑战仍是“能不能在市场上用合理的价格获得足够多的 compute”。

12. 资本市场：错过牌桌的账、债券信号与“开源利好 infra”

大型玩家的算账逻辑要反过来看：假设 ROI 很高但错过了这波，“可能就再也回不到这个牌桌上了”——overspend 顶多账本难看两年、花五年十年消化 depreciation，“这不是 existential risk”；Google/Meta 算的不是先有多高的 ROI，而是“万一我没做这个投入，我可能就完蛋”。New cloud 则“得更 honest 一点”。至少接下来一年，他看到的都是 compute-constrained。
他给的可观察指标是债券：评级透明，项目 delay 会压评级；真正的测试是——若某个 player 在三到六个月内因债务出现问题、借不到钱、需要 restructuring，“市场上到底有几个人有钱可以把这个人给捞上来”，那是 worst moment。“只要捞得上来，问题都不大；万一捞不上来，确实挺困难。”
对“开源追上→硬件回调”的逻辑他直接不买账：“这个关系我实在捋不清楚……开源模型追上来绝对是 favor infrastructure provider”——model 层议价能力变弱，若总资金量不变，钱就更有利于流向接近 infra 的人，“股价要涨才对，而不是跌”。去年 DeepSeek 刚出来英伟达跌，“我当时也是不懂这些人怎么想的”，并自嘲：“我不适合炒股。”

让杀菌光照进来：这款500美元灯具或可阻止下一场大流行病——来自《Complex Systems》电网中隐藏着200GW，钠电池降价10倍，波浪供电数据中心：Ramez Naam｜EP #280