摘要

vLLM 已成为连接开放权重模型与主流加速器的广泛采用的执行层。 据介绍，它在任何时点都运行于50万块 GPU 上，支持超过1,000种活跃模型架构；NVIDIA、AMD、Google、Amazon、Intel 等厂商确保新芯片能够运行 vLLM，且往往以其作为基准。Simon 将其定位为 AI 的“数据库和操作系统”。
当应用公司需要超越专有模型套壳的差异化能力时，开放权重便从极客领域转向战略基础设施。 Matt Bornstein 提到，Cursor、Decagon、Harvey 等初创公司需要自有的中期训练、后训练、推理和部署技术。闭源 API 无法提供这种访问权限，因此开源深度嵌入应用栈；不过 Matt 也指出，OpenAI 和 Anthropic 的模型整体上仍然更常用、也更关键。
经济账越来越取决于可控的性能、可靠性和数据，而不只是更便宜的 token。 语音代理公司可以掌控基础设施，并确保延迟达到 SLA。Kimi K2 覆盖了近10倍的价格差距，价格低于 Claude 或 GPT-5，同时将 Opus 4.1 级别的模型带到用户可以自行运行和微调的基础设施上。开放权重服务商可能提供10档速度，包括在部分工作负载下达到每秒400–500个 token，而专有服务商通常只有普通和快速两种模式。
开放权重许可正告别无条件赠送，因为前沿模型训练不可能靠开发者无偿投入的时间维持。 模型实验室需要承担数百万或数十亿美元的算力成本，还要反复面对失败的训练运行，因此开始引入使用量门槛、衍生作品条款和商业协议。Simon 用制药行业作比：发布后的产品必须回流足够收入，支撑下一轮高风险研发。
审核失败可能让开放权重成为高信任、专业化场景的默认选择。 Simon 认为，专有模型的安全护栏仍然任意且容易误报；即使是 GPU 内核调试也可能触发限制，让2小时的工作付诸东流。“如果审核永远无法解决”，用户会偏好那些能针对可信用途自行控制护栏的模型。
Simon 预计，未来1年内开放与闭源之间不会出现实质性的能力差距，因为如今的进步更多取决于环境和算法，而非分发策略。 Moonshot 的前端编程闭环——生成、渲染、检查、迭代——是他的关键例子，这类环境无法简单通过蒸馏复制。他不认为蒸馏是进步的主要解释：真正持久的驱动力是“真正聪明的人”将算力、数据、环境和新方法结合起来。

精读

1. 推理在成为市场问题之前，先成为了系统问题

Simon 的出发点是：LLM 服务与早期机器学习工作负载有根本不同——输入长度可变、输出具有非确定性，而每个请求都必须快速响应，哪怕背后需要大量 GPU 或 TPU 计算。因此，批处理和调度“处在推理引擎的核心位置”。
硬件门槛是逐步到来的。ResNet 要获得实用速度已经需要 NVIDIA K80，但仍可在普通 CPU 上慢速运行；BERT 则让 GPU 加速成为高效翻译等相关任务的重要条件，而 Hugging Face 累积了“1,000种 BERT 变体”，分别针对不同工作。这个阶段发生在2020年之前。
Simon 将转折点大致放在2023年：GitHub Copilot 和 ChatGPT 变成了人们觉得“再也离不开”的工具。模型驱动的应用一旦进入日常工作，加速器和开放推理软件就不再只是研究便利工具。
Matt 所说的另一个门槛出现在这场对谈前大约1年。Cursor、Decagon、Harvey 等公司认定，无法靠套壳构建能够长期存续的产品；它们自己的中期训练、后训练、推理和部署技术都需要开放权重，让开源成为核心，但往往不为外界所见。他提醒，OpenAI 和 Anthropic 的模型整体上仍然更常用、也更关键。

2. vLLM 位于新模型与各类芯片的交汇处

Simon 将 vLLM 定义为把现有 GPU 变成“运行中的智能端点”的引擎，提供成本效率、可靠性和前沿模型兼容性。它支持超过1,000种活跃架构；研究原型一旦变成全球可获得的开放权重模型，便会立即在 vLLM 上线，这一过程被称为“day-zero model release”。
NVIDIA、AMD、Google、Amazon、Intel 以及其他硬件厂商都会确保最新芯片能够运行 vLLM，很多时候还直接用它做基准测试。这个项目占据了“模型运行的地方”，也是硬件与模型对接的地方。
一次模型发布可能要协调模型实验室、主力或替代硬件供应商、Hugging Face、vLLM，以及取决于实验室意愿的另外10–20家发布合作伙伴，包括推理云和公有云超大规模厂商。一些实验室已经在强化学习期间使用 vLLM，并提交可运行代码；另一些实验室拥有内部引擎，却不太了解更广泛的开放权重生态。
Simon 以早期 Mistral 发布为例：实验室最初只为 Mistral 7B 放出一个 torrent 链接，极客们不得不四处寻找并艰难运行模型。随后，Mistral 与 vLLM 团队在幕后利用周末完成协作，发布了一条可行路径，让所有人都能复用这部分系统工作。
Simon 表示，开源推理目前是运行模型的主流路径，因为推理云和 API-as-a-service 服务往往在底层采用开源引擎，建立在经实战验证的方案和长期积累的修复之上。
Inferact 签署了 NVIDIA 的 Open Weights 和 American AI Leadership Letter。Simon 的理由是，开放权重很重要，模型开发不应被一个完全由专有 API 控制的世界阻挡或禁止。推理引擎虽然位于预训练和强化学习之后，但它是模型真正接触现实世界的地方。

3. 掌握所有权买到的是性能调节权，不是自动获得低价

Simon 表示，客户优先级不断变化：过去几年控制权一直重要，直到最近，随着编程套餐和 token 消耗变贵，成本才迅速上升。控制权包括管理成本、观察完整系统，以及知道账单实际买到什么样的性能。
语音代理的例子说明了其中的机制。掌控模型、硬件和监控链路，就能确保代理在 SLA 内响应；依赖专有 API 则会引入不受自身控制的宕机和合同性能风险。
Simon 形容 Kimi K2 是在跨越“近10倍的差距”，而不是单纯在价格上胜出。它的价格低于 Claude 或 GPT-5，但高于 GLM-4.5 和 Qwen 3.5。更强的论据在于“把一个 Opus 4.1 级别的模型带到我自己的基础设施上”，这样运营方可以自行微调，了解 token 需求，分析性能，并管理安全、合规和数据留存。
专有服务通常只提供普通和快速两种模式，只有两个速度开关；开放权重服务商则可能提供10档速度。vLLM 自有的快速模式在部分工作负载下可达每秒400–500个 token，通常比专有服务商提供的快速模式快2–3倍，让代理感觉自己在“执行”，而不是卡在思考。
Simon 特别将这种控制权与 Fireworks 对比，他称后者没有零数据留存政策。重点不只是降低成本，而是掌握模型性能和运行条件。

4. 开放权重需要一份新的融资契约

Matt 强调，“开源模型”通常指开放权重，而不是开源软件。过去，模型往往依据 Apache 2.0 条款发布，相当于“拿去、修改、随便用”。Meta 的 Llama 许可则根据日活用户或年度经常性收入等指标设置商业门槛。Elena 提到，最初设定的门槛在全球范围内把除了大约2家公司之外的所有公司都排除在外。
新一代实验室正在测试更明确的经济条款：MiniMax 的 M2.7 纳入了围绕使用量的条款，Kimi 最初则对衍生作品附加条件。Matt 的反驳值得重视：这未必是贪婪。与软件不同，前沿模型不可能由志愿者在夜晚和周末抽时间训练出来；模型实验室需要投入数百万或数十亿美元的计算资源。
Simon 将模型开发比作制药：昂贵的研发必须能够承受反复失败，但发布后的产品仍需产生收入，为下一次尝试提供资金。模型发布之后，仍需要“整个村庄”把同一套训练配置适配到不同集群拓扑和各种使用场景，包括边缘设备、巨型集群、语音代理和编程代理。
Matt 的思想实验揭示了这一约束：如果 GPU 价格下降99%，个人或许能再次集体探索前沿想法。AlexNet 是他认定第一款以具有实际影响的方式运行在 GPU 上的神经网络，字面意义上只需要2块 GPU；如今的前沿实验却需要海量算力。
Simon 也将规模定义为两件事：一是把巨型模型装进数据中心机架，二是将其优化到可能的最高速度。广泛的社区和合作伙伴验证还有助于找出只在0.0001%的时间里出现的 bug。

5. 审核失败让可控性成为功能性要求

在 Simon 对 Hugging Face 事件的解读中，专有 API 提供了任意、难以执行的安全护栏，误报过多，Hugging Face 因而不得不在可信场景中使用开放权重模型。他将此与内容过滤和审核系统长期难以设计的问题联系起来。
他的判断带有条件，但一旦前提成立，结论是明确的：“如果审核永远无法解决”，受信任用户就会默认选择开放权重，因为他们可以针对自身场景削弱或控制护栏。Inferact 的开发者已经发现，GPU 内核工作——包括排查无效内存访问错误——也可能触发限制，导致2小时的工作白费。
Matt 延伸了社交媒体类比，但承认谨慎可能有合理性。AI 集中的不只是言论，还有代码、电子表格、健康建议和行动本身，而且没有社交媒体的责任豁免条款；服务商还会施加自己的伦理边界，使棘手的边缘案例既不可避免又令人沮丧。

6. 决定前沿的可能是环境，而非知识蒸馏

被问及5年后的情况，Simon 先开玩笑，Elena 将问题改为1年。Simon 表示，能力层面即便现在差距也很小，并预计1年后“不会有任何差别”。开放与闭源主要是分发和市场进入选择，背后的配方相近：算力集群、训练数据、顶尖研究者，以及先预训练再后训练。
前沿的分水岭越来越在于学习环境。Moonshot 的前端编程设置让 Kimi K2 编写代码、检查渲染结果，并继续循环。优势来自构建这套反馈流程、选择能够利用它的算法，而不是单纯获取静态源代码数据。
Simon 最喜欢的技术例子让这个领域“兜了一圈回到原点”：引入旋转位置编码（RoPE）的 Jianlin Su 同时也撰写了解释 Kimi K2 为什么不需要 RoPE 的文章。Matt 的反应体现了 AI 的经验主义特征——理论一旦认定某个组件不可或缺，更深入的实验仍可能发现，“简单其实更好”。
对于中国实验室是否严重依赖知识蒸馏，Simon 倾向于否定。专有学习环境以及模型在其中自我改进的过程无法简单复制；用许多模型重写数据集是可行的，但他认为今天的进步并非主要由知识蒸馏驱动，仍来自“真正聪明的人”将算法、数据、环境和算力结合起来。
Matt 得出的政策含义是：阻止知识蒸馏，并不能阻止其他地方有能力的研究者。Simon 则将开放权重描述为一条“赛道”：参与者可以看到彼此的位置，公开学习并站在彼此肩膀上，从而加快跨国创新，而不是遏制创新。

178: 与田渊栋聊 RSI：模型自进化如何到来？追逐万亿美元公司、创始人野心、Token预算与监管俘获