关于 AI Infra 的一切 | 对谈阶跃星辰联创朱亦博

摘要

• 大模型把 AI Infra 从后台降本工具推到了模型胜负的核心位置，这是朱亦博眼中“十年、二十年才有一次”的行业窗口。 搜索引擎曾因海量数据与计算需求让 Google 成为一家 Infra 公司，大模型正在重复这一过程；只是底层主角从 CPU 变成 GPU，计算、通信、存储都要围绕模型极致定制。

• AI Infra 的投入回报高度可量化，规模越大，自建团队的经济性越确定。 朱亦博给的账是：1 万张比较贵的 GPU 月租约 1 亿元，利用率提升 10% 就能每月节省或多创造 1,000 万元；规模较小时则可使用云厂商的通用 baseline，甚至百万 DAU 也未必值得自建完整 Infra。

• 独立 AI Infra 厂商若只夹在通用硬件与通用模型之间，长期很难建立技术壁垒。 单项优化可能领先几个月，但“没有一项技术是几个月后追不上的”，最终容易滑向价格战；真正的出路是向硬件或模型延伸，以独家算力、第一方模型或深度 co-design 构造类似 PS5 独占游戏的黏性，“你就不要去做夹在中间那个人”。

• 在朱亦博看来，o1 与强化学习把行业第一指标从训练 MFU 推向了 decoding 速度和成本，但业内认知尚未完全统一。 DeepSeek 早期选择为低推理成本优化，训练 MFU 反而偏低，2024 年上半年基模也未必领先；但 2024 年 9 月 o1 带来 test-time scaling 后，低成本推理直接转化为快数倍的强化学习速度，成为其率先做出 R1 的关键条件。“最重要的事情永远是方向选择。”

• 模型竞争不是算法团队的单项赛，而是算法、系统与数据的“铁三角”。 同样用 5,000 张卡训练三个月，Infra 若提升 20% 效率，在其他条件相同的假设下，模型就能多学习 20% 数据并可能改善最终效果；朱亦博进一步主张，模型结构关系到运行成本，系统团队应深度参与设计，数据团队负责效果，算法团队聚焦训练方式。

• 阶跃星辰试图用视觉推理模型与国产芯片形成双向垂直整合。 朱亦博称其新模型应该是国内首个可由第三方商用的几百 B 级视觉推理模型，可直接看图拆解任务而非先转文字；阶跃将向所有国产芯片提供免费商用授权、共享权重并协助适配，同时通过架构创新把国产卡上的推理成本压到可与英伟达方案竞争。

• 下一轮范式突破可能来自多模态理解与生成的统一，但专用能力和 Agent 应用仍存在阶段性窗口。 朱亦博以大约两年一次作粗略判断，继 2022 年 GPT-3.5、2024 年 9 月 o1 后，下一次也许要到 2026 年；Claude 靠代码数据投入形成差异化，而 Agent 公司与模型厂商则处于“有共生，但是又在互相杀伤”的状态。长期不变的判断来自《The Bitter Lesson》：“最终最能利用计算的方法，长远来说才是赢家。”

精读

1. AI Infra 已从单机框架走到千卡工业化

• 朱亦博把 AI Infra 拆成硬件与三层软件：硬件包括 GPU、网卡和交换机；IaaS 管服务器、网络、运维以及大规模存储，覆盖计算、通信、存储；PaaS 包括调度、资源管控和 MaaS；训练、推理框架优化则更接近上层服务。

• 在他的代际划分里，AlphaGo 之前甚至没有清晰的“AI Infra”称谓，更多叫 machine learning infra 或 ML system。贾扬清、李沐、陈天奇等第一批从算法需求出发，为利用 GPU 做出了 Caffe 等框架；他所属的第二批则负责真正“上规模的事”，把系统推到数千张卡。

• 他的经历也沿着这条工业化路线展开：从微软研究院的分布式系统研究，到 2018 年进入字节跳动建设 AI Infra，2023 年初离开后短暂加入 Google，再于同年 5 月参与创立阶跃星辰。

2. 大模型给了 Infra 一个十年、二十年才有一次的创业位置

• 传统创业往往先有业务规模，随后才补高并发和基础设施，Infra 人才很难在公司早期成为核心参与者。大模型时代则同时带来了海量数据与算力需求，朱亦博因此判断，这是 Infra “十年、二十年才有一次”进入创业中心的机会。

• 他用搜索引擎作历史类比：Google 面对互联网级数据，必须拥有世界一流的 Infra，因此“Google 实际上是一家 Infra 公司”。大模型把数据和计算需求再提高一两个数量级，只是处理方式变成用 GPU 训练模型。

• AI Infra 与传统互联网 Infra 的目标没有改变：让大规模任务可靠、高效地运行，并把计算、通信、存储组合起来。“太阳底下没有太多的新鲜事”，但 GPU 与 CPU 的硬件特征不同，网络和存储需求也随之改变，工程必须更加定制和极致。

3. 自建 Infra 的门槛最终是一笔利用率账

• 在线推理仍有传统服务的映射：首字延迟类似打开 App 后看到首屏的时间，后续吐字速度是否稳定、流畅则对应持续服务质量；团队还必须在这些体验指标之外，把单位请求成本压到尽可能低。

• 训练侧更像 Hadoop、Spark 时代的大数据计算：过去用大量 CPU 处理数据，现在换成大量 GPU 学习数据并训练模型。技术栈发生了变化，但大规模计算的抽象并没有消失。

• 朱亦博给出的规模账很直接：若 1 万张比较贵的 GPU 每月租金约 1 亿元，团队把利用率提高 10%，每月就能省下或多创造约 1,000 万元。“你愿意为这一千万一个月雇多少人？”在这种规模下，Infra 覆盖人力成本并不困难。

• 小公司同样依赖 Infra，只是不一定需要自研领先方案。团队应比较研发投入与潜在性能收益；规模不大时，公有云或 MaaS 的通用 baseline 已经够用，曲凯举出的百万 DAU 场景也未必必须自建团队。

4. 第三方厂商必须离开“模型与硬件的夹层”

• MaaS 可以成为汇集多家 API 的“集贸市场”，公有云也能同时承载自家与第三方模型；但朱亦博强调，促销、降价只能解释短期获客，长期问题仍是第三方是否拥有不可替代的价值。

• 如果参与者拿到的是所有人都能买到的硬件和模型，中间优化层很难拉开持久差距：“没有一项技术是几个月后追不上的。”结果很可能是同质化竞争和价格战，而非可长期兑现的技术溢价。

• 他的解法是垂直整合：向下与硬件厂商形成算力价格、技术支持和适配优势，或向上与模型做深度整合。PS5、Steam 真正吸引用户的是“独家的游戏”；同理，MaaS 的特色模型或独家供给才是留住用户的内容。

• 曲凯追问绑定错误路线的风险，朱亦博的回应是“你是参与者”，不是被动押注者。Infra 人若比硬件团队更懂模型、比模型团队更懂硬件，就应直接影响产品方向；若最终失败，也属于参与者自己的责任。

5. Infra 效率会直接变成模型能力

• 所有大模型团队都在参加同一场比赛：“给定算力，怎么训出最好的模型？”成本优化不是结果之外的辅助工作，因为更高的计算效率会直接扩大模型在固定时间内能学习的数据量。

• 朱亦博的例子是两支团队都用 5,000 张卡训练三个月；更好的 Infra 若让效率提高 20%，在其他条件相同的假设下，模型就能多学习 20% 数据，这一差异可能在三个月后的模型效果中体现出来。

• 常用指标 MFU 的分子是硬件为模型实际完成的运算，分母是理论算力，比例越高通常意味着利用率越好。但 MFU 同时受模型、硬件和优化目标影响，不能脱离整体路线单独判断团队水平。

• 因此，同行之间聊几句“最近在优化什么、做到什么数据”，往往就能看出认知差异。朱亦博认为技术执行固然重要，但“最重要的事情永远是方向选择”，指标本身必须服务于当前模型范式。

6. DeepSeek 赢在提前选择了强化学习时代的指标

• 朱亦博指出，DeepSeek 的训练 MFU 实际偏低。2024 年至少上半年，其他团队更多追求固定训练算力下的最佳基模效果，DeepSeek 则优先设计给定推理成本下效果最好的模型，因此当时并非所有公开评测的 number one。

• 转折发生在 2024 年 9 月 OpenAI 发布 o1：test-time scaling 意味着模型在推理阶段多思考可以提高答案质量，而推理模型又依靠强化学习训练，需要反复生成较长的推理、筛选结果并给予 reward。

• DeepSeek 先前压低推理成本的选择突然同时变成训练优势：强化学习的大量工作本身就是 inference，其基模做强化学习可以比其他团队快数倍。朱亦博把率先做出 R1 视为“大家选了不同优化目标以后的胜利”，同时承认这里可能包含运气，因为最初未必预见到 o1。

• 在他看来，当前第一指标已经是 decoding，即模型输出阶段的速度与成本，而非继续把训练 MFU 放在中心；但他也指出业内认知并未完全统一。decoding 一头决定线上业务成本，另一头决定强化学习获得 reward 的速度；仍只盯 MFU，可能意味着认知停留在上一阶段。

7. 算法、系统、数据的权力结构决定模型上限

• 朱亦博把模型研发称为算法、系统、数据的“铁三角”。每一个模型结构选择都有 trade-off：有时一点算法增益会损失一半系统性能，有时恰好相反，决策必须由两边共同讨论，而非算法设计完再把优化任务扔给 Infra。

• 他给出更具挑战性的分工：模型效果很大程度由数据决定，效率和成本由系统决定；由于模型结构最影响成本，“模型结构其实应该系统人设计”，模型的参数规模和效果上限应该由数据的人负责，算法团队最核心的职责则是训练方式。

• 曲凯认为外界通常把算法视为绝对中心，朱亦博并未否认算法的重要性，但指出组织问题会压过个人能动性：若系统与算法团队汇报给只懂算法的负责人，Infra 很容易退化为支持部门，失去反向影响模型的权力。

• 小团队可以像一个 team 一样让三方共同取舍，大厂沿用移动互联网时代的精细分工却可能形成错配。产品经理也需要更懂技术和数据；旧组织即使留下了同一批人，也未必适合新的 AI 生产方式。

8. 模型架构和 MoE 暴露了 Infra 的真实地位

• 朱亦博提到一家未具名公司：模型参数看似较小，算法效果也能“越级”对比更大模型，但因架构问题，实际硬件运行成本反而可能更高。算法团队画的是“模型尺寸—效果”图，真正需要的却是“实际运行成本—效果”图。

• MoE 的采用时间同样是一张组织试纸：“做得越早，说明 Infra 团队影响力越大。”在算法人员眼中，同为 100B，Dense 模型通常强于 MoE；MoE 首先解决的是激活参数与推理成本，并不直接提高同尺寸模型的能力上限。

• 2022 年初，字节前司团队复现 GPT-3 后发现业务认可模型能力却嫌成本太高，朱亦博所在的 Infra 团队因此主导研究 MoE。当时负责算法的老同事甚至认为“这不干他的事”；而 DeepSeek 从一开始就做 MoE，也被他视为系统团队能影响结构的证据。

• 阶跃在 2023 年 12 月开始训练第二代模型；朱亦博将这段经历放在其较早研究 MoE 的脉络中。今天算法人员已知道激活参数量与成本的重要性，但这段历史说明，许多后来被视为能力路线的选择，最初也来自 Infra 对商业可用性的约束。

9. 阶跃从“大过 Llama”的教训转向效率与多模态

• 朱亦博坦言，阶跃早期曾对算力和执行能力“过于自信”，做出一个比 Llama 更大的模型，而且比 DeepSeek 早一年开始做。团队确实完成了训练，但巨大模型带来额外问题，回看仍属于需要承认的错误。

• 他的研发心态是，所有研究赌注都可能错，重要的是持续修正：“这一局你赢了，下一局我干回来。”这也解释了阶跃随后更重视语言基座的高效结构，而不只是继续追求尺寸。

• 阶跃当前特色仍是多模态，朱亦博称其在一些多模态领域“稳居国内前二”。后续重点包括语言与视觉融合、端侧硬件和部署方式协同，以及强化学习 inference 的复杂工程；语言基座结构在他看来至少是系统与算法“五五开”的问题。

10. 真正革命性的障碍是模型与芯片共同设计

• 禁售、专利和强化学习工程虽然困难，朱亦博仍把它们归为“看到一条路，然后执行就能完成”的问题。更困难的是没有明确路径的革命性变化，例如真正实现模型与硬件 co-design。

• 当前模型基本都围绕英伟达 GPU 优化；Google 的 TPU 有特色，但底层计算范式仍与 GPU 相近。即使 H20 能进入国内，它仍是相对较弱的卡；国产芯片面对的也不只是“能否运行”，而是运行现有开源模型时性价比往往落后。

• 他设想的突破是出现特征显著不同的新芯片，再由团队利用这些特征设计高出所有人一档的模型。“图灵奖就在你眼前”，商业公司则可能据此建立无人可敌的壁垒，但他也明确承认这条路只能走一步看一步。

• 国内外差距首先来自规模：1 万卡与 10 万卡遇到的问题不同；其次来自影响上下游的能力。OpenAI、Google 有资金和人才同时触及芯片与模型，国内只有个别大厂具备类似要素，能否组织成有效的一体化状态仍是问号。

11. Google 的纵向整合是风险，不是所有公司的必选项

• Google 同时拥有自研芯片与模型，训练效率可能获得明显优势；朱亦博称 OpenAI 一直最忌惮 Google，也正因为后者更有条件完成从硬件到模型的整套优化。

• 曲凯由此追问，最终是否所有模型公司都必须自研芯片。朱亦博没有把它说成必然，只强调一种“危险存在”：若某家公司真正把芯片、系统和模型统一做到极致，竞争对手将承受很大压力。

• 拉长时间，他相信会出现类似 Google 的纵向整合者；不走这条路线的公司并非没有机会，但必须从其他环节形成差异化，而不能假设通用硬件与模型之间的中间层天然安全。

12. 第三方市场更适合推理，开源同时放大了英伟达优势

• Snowflake 和 Databricks 在朱亦博的分类中不是典型 AI Infra 公司，而是“服务数据的 Infra”：前者用统一抽象管理多云数据并叠加处理服务，后者源自 Spark，再帮助传统企业存储、管理、连接和利用数据，之后自然延伸到 AI。

• 更典型的第三方参与者包括 CoreWeave、云天励飞，以及国内的无问芯穹、路辰科技、硅基流动等。朱亦博对各家近况有所保留，但总体观察是创业公司逐渐偏向推理，因为训练主要由非常懂行的专业人士自己完成，第三方训练商业模式不易成立，而且训练方法本身就是模型公司的核心竞争力，很难在很早阶段交给第三方。

• 开源热门模型会吸引大量团队研究如何高效运行，客观上促进 Infra；另一面则是资源可能被锁定在单一模型上，新架构出现后，旧优化积累部分作废。它也会强化既有硬件：DeepSeek、千问等都针对英伟达优化，一体机采用英伟达卡时往往比国产卡更有性价比。

• 朱亦博不满足于把这种结果简单归因于国产替代的现实约束，而是追问能否“为国产的卡去设计一些模型”，让模型达到 DeepSeek 的水平且运行效率极高。其核心仍是让模型适应硬件，而不是要求硬件被动兼容英伟达范式下的模型。

13. 视觉推理成为阶跃与国产芯片共生的落点

• 朱亦博称阶跃的新模型应该是国内首个可由第三方商用的几百 B 级视觉推理模型。它不只是先把图片转成文字再调用语言模型，而是直接依据视觉信息推理，视频也可通过抽帧输入。

• 他用机器人从柜子取物解释端到端的价值：目标可能被其他物品半遮挡，文字很难完整表达所有物体及其空间关系；模型则可以直接看图判断“先把这个东西拿开，再把那个东西拿开”，完成复杂任务的拆解。

• 更高层次的能力尚未完全做到，例如在视觉空间里走迷宫并“画草稿”。文字推理解数学题可视为在语言空间走迷宫，但视觉关系难以用文字准确描述，因此视觉原生的推理过程仍有明显研发空间。

• 阶跃将向所有国产芯片提供免费商用授权、共享权重并尽量协助适配；模型架构也通过创新实现了在国产卡上的低成本推理。朱亦博希望芯片厂商因此获得特色产品和商业竞争力，同时帮助阶跃推广模型，形成“共生的关系”。

14. 下一轮范式仍取决于谁最能释放计算

• 朱亦博观察，上一次大范式是 2022 年 GPT-3.5，这一次是 2024 年 9 月 o1；如果大约两年发生一次，下一次也许到 2026 年。他看好的方向是统一多模态理解与生成，成功标志应是同一个模型在两项任务上都胜过各自的专用模型，像 GPT-3.5 淘汰大量语言专用模型一样。

• Veo 3 在他看来更像上一代专用生成模型叠加工程和产品融合，包括配乐等功能，但尚不是理解与生成统一的新范式。多模态理解成本已经不算特别高，生成尤其视频仍贵；一年后降到十分之一“不好说”，但降到现在的几分之一，他认为“肯定”可以做到。

• 细分能力仍有阶段性差异化：他认为 Anthropic 即使强化学习不算强，也能凭大量构造、清洗代码数据，让 Claude 的代码能力“一枝独秀”。风险是新训练范式可能迅速覆盖这种领先；Agent 公司也类似，先用 workflow 让模型“踮起了脚尖”，成功后能力又可能被下一代模型原生吸收，形成“有共生，但是又在互相杀伤”的生态。

• 给从业者的建议是“靠近模型，靠近硬件”，真正参与垂直 co-design。朱亦博最推崇《The Bitter Lesson》的判断：“最终最能利用计算的方法，长远来说才是赢家”；GPU 以较低灵活性换取并行计算和约每两年翻番的算力，最终拉开 CPU 十倍、百倍的差距，Infra 的本质任务就是持续吃到这条计算曲线。