少有的同时做过 Agent、多模态和具身的人 | 对谈前混元多模态 RL Infra 负责人淏楠

摘要

• Agent 的增量机会，在淏楠看来正转向场景覆盖与使用体验。 他认为多数情况下模型的 coding 能力已超过 AI 工程师平均水平，但 game agent 等场景仍开发不足；更强的智力，也需要 GUI、CUA 和产品交互才能被用起来。“agent 确实现在来看是交互的主线”，多模态创作也会沿这条线组织。
• 视频生成仍更依赖预训练、数据与资本，淏楠所在团队没有等到预想中的“R1 时刻”。 年初认为 RL 能带来高效跃迁，做了半年后改变判断；他限定，问题是后训练的 scaling 不够 efficient，并非堆数据不能提升。他认为约十名有经验的工程师、两个月能把 infrastructure 推到合理水平，难复制的是数据积累与产品回流。
• 视频应用仍有很大的可控创作与交互缺口。 对曲凯提到的“Kling 2.5”，淏楠给出约六十分、满分一百分的判断，并明确预计未来半年会出现更好的 studio 或 harness。“抽卡”会继续存在，但可能从排除形变、换脸等错误，转向“它都很好，只是你和我的偏好不一样”。
• 实时视频尚未成熟，具身也未必要等完整世界仿真。 提速容易破坏一致性，而提升质量又往往需要更大、更慢的模型，淏楠无法预测真正实时互动的节点。他更认同先理解当前环境、行动一步、再更新理解：“你没有必要先理解整个世界，再去做一件事。”
• 淏楠更看好“大模型大脑＋自有硬件与小模型”的具身分工。 他形容具身厂商与大模型厂商的卡量“差俩零”，创业公司更现实的壁垒是硬件与 System 一起 co-design，以 7B—16B 模型控制本体，再接外部大模型。真机数据仍重要，尤其灵巧手要完成的动作细节，很难由粗糙仿真替代。
• Astra 最重要的潜在价值，是接管失败步骤并推动采数闭环。 淏楠设想，小模型在陌生场景已有 50%—60% 成功率时，由 GPT 接管失败、留下 error recovery 数据，再把成功率从 60% 推到 80%，最终可能让一名遥操员看十台机器。他认可只学习接管步骤的“软蒸馏”；全程依赖大模型输出机械转角，则“太慢了，太费了”。
• 具身的高估值仍要靠真实场景兑现。 曲凯以最高估值约 200 亿元、账上约 50亿—60亿元的量级追问，淏楠给出的落地例子是酒店叠被子：地面平，可以用轮式机器人，环境又介于标准与非标准之间。他转向 physical AI 是长期职业偏好，但对行业的要求很直接：“真的落地，真的能够有场景。”

精读

1. Agent 已成交互主线，下一步是让更多场景用起来

• 王淏楠从 2025 年 7 月做到 2026 年 2、3 月的早期经历，是 language agent，主要接触 SFT、web search 数据构造。到 2025 年底，他判断继续做下去，大概率会“以造数据为主，干一整年”，这与自己的兴趣和积累诉求不够匹配。
• 两边都做过后，他感受到的是“围城”：做 Agent 的嫌洗数据，做视频的又担心工作不体现智力。但 Agent 是交互主线，公司做不好还可以换一家继续；多模态岗位更受公司路线影响。理解方向则随着 GUI 再起，包括他提到的 WorkBuddy、GPT-6 Extra。
• 曲凯认为 personal AI 可能已是 Agent 的终点形态，淏楠仍觉得场景覆盖不足，例如 game agent。他判断，大部分情况下 coding 已超过 AI 工程师平均水平，新增能力的体感越来越难描述；接下来更重要的是“怎么让大家用得上”，至于下一个爆点，他坦言想不到。

2. RL 的差距主要在算力与实验积累，工程只是其中一环

• 在庞天宇邀请下，淏楠加入混元多模态，负责 RL infra，主要推进 UniRL。他强调图片、视频 RL 是 infrastructure、algorithm、reward 的闭环，尤其需要训练好的 reward，三者得一起推进。
• 谈国内外差距，他的限定是：“最大的 gap 我觉得可能还是没卡。”工程实践没有那么大的代差，算力不足却会减少实验、训练时长和经验积累。若租云资源一个月、目标只是尽快推高分数，SFT 的效率和暴力刷分能力确实更强。
• 多模态也没有绕开 Agent：团队希望做“多模态里面的 cursor”。例如先生成三段视频，让用户选一段，或提出第四种修改意见，再沿选中的方案迭代；后训练便围绕这种人机交互组织，而非只提升单次生成结果。

3. 视频没有等来预想的 R1，竞争重新落回预训练与数据

• 淏楠年初曾相信，视频生成也可能出现 language reasoning 那样的 R1 时刻；做了半年后改变判断：“它并不存在比较 efficient 的 scaling law。”这里指团队探索的后训练路径，连同前面的 caption 改写，都没有带来预期中的跃迁。
• 曲凯追问，头部视频模型为什么仍能做得那么好？淏楠首先归因于数据质量。他也保留例外：据他了解，字节的后训练已经 work，但不少其他团队的 RL 还没 work；即使 work，最重要的能力提升仍来自前面的预训练。
• 他没有否定 scaling 本身：堆数据仍能往前推，争议在于效率。预训练 infrastructure 的门槛相对低，十来名有经验的人、两个月，可以做到“相对 reasonable 的水平”；开源也降低了工程差距，数据却没有同样的捷径。
• 数据要么花钱，要么靠产品回流。他回忆 2024 年底、2025 年初还能爬 YouTube，如今反爬已让获取视频困难得多。因此，这条线更吃资本、大团队与公司积累；团队曾尝试靠一波厉害的人突破，“半年没成”。

4. 视频只有六十分，抽卡会从排错变成选择审美

• 曲凯用 B 站短剧《无敌超人》说明质量进步，同时怀疑其中加入了大量专业创作。淏楠认可人的参与仍重要，也认为做到“接近电影的水平”没有问题；谈到 Kling 2.5，他的评分仍是六十分，远没到能力终点。
• 人的价值更多是用 taste 影响方向。淏楠认为 coding 相对有共同认可的好标准，影片却存在镜头语言、表达方式等偏好差异；连贯性、可编辑性是共同要求，具体怎样拍，则需要创作者施加影响。
• “抽卡一定会存在”，但意义会改变：现在选掉的是形变、稳定性差等坏 clip；未来可能每段质量都好，只是审美不同。曲凯把它类比为导演拍多条素材后选一条，淏楠认可这种理解。
• rich caption 已能精细控制镜头，但让用户手敲大量描述仍很累。更合理的是机器根据前文 propose 几种镜头，让人选择。他也提醒，真正做一条短剧仍“非常痛苦”，context 管理等环节都不到位。

5. 理解生成一体化之后，平台还要跨过创作门槛

• 对热门视频复制、换人等单点能力是否会被模型吸收，淏楠回答肯定。他的核心判断是“理解一定能帮助生成”：先理解人物和画面细节，才容易改得好；生成是否反过来帮助理解，他没有同样肯定。
• 消费视频的人远多于创作者，障碍并非完全学不会，而是麻烦、成本高。他和圈内人期待，未来半年到一年先降低门槛与生成成本，再让更多人同时成为生产者和消费者，形成新平台。
• 产品层面，他偏悲观地说图片“没什么可做的了，主要就是做视频”，并明确判断：“未来半年肯定有更好的交互的 studio 或者交互的 harness 产生”，把模型能力交到更多人手里。

6. 实时视频还在用一致性换速度，成熟时间无法判断

• 曲凯区分两条路线：一条只是生成快于消费，看起来像实时；另一条能持续回应对话与动作。淏楠认为，大家目前基本还在第一条，而且第一条也不成熟，越往后生成，一致性越容易崩。
• 淏楠认为它家的水平应是 H3.0，模型能力大概在 2.0 的水平，仍有失败 clip；2.5 更强的地方还包括控制力，能加入人物正背面、发饰、故事线等大量参考图，以及 video、audio，进而支持更好用的商业产品。
• scheduler、跳层、蒸馏、一步生成都能提速，但往往让结果更容易崩。他给的具体例子是镜头转回来后，后面的东西或人脸已经变了，因此个人更倾向先保质量。
• 曲凯提醒，这只是阶段取舍，两条线可以一起推进，未来也可能出现舍弃部分能力、换取速度与低成本的方案。淏楠接受这种可能，但无法预测节点：当前仍在攻坚能力，“还没到能力溢出的时期”，模型越大也天然越慢。

7. 世界模型不必先完整重建世界，才能服务具身

• 对按上下左右行动、再续写画面的 video world model，淏楠举出类似《塞尔达》跑图的 demo：有人在做，但质量和用途仍有疑问。相比巨大模型仿真整个世界，他觉得“像 Astra 这种 VLM 加上更小的 Diffusion 去做渲染”看起来更 promising。
• 曲凯的反问是，研究者本来就该知道这条路很难，为什么市场忽然从兴奋转向失望？淏楠认为，研究者可能一直不觉得能很快做出来，只是市场情绪把人“架在那了”，要求马上交付，也未必想清楚做成后能干什么。
• 他强调，李飞飞的 3D 路线与杨立昆的 latent 路线，本来就不是同一种世界模型。具身不需要先建好草、树叶、光线再行动：“我只要理解当前的情况，做一步 Action”，接着观察、再行动，也可能足够。

8. Astra 的震动，是大模型开始把视觉理解变成物理动作

• 从视频转向 action，在技术上很自然：action 也可以是一种模态，原来视频加音频，如今视频加 action，都可沿 diffusion 推进。具身输入视频或多个角度的视频，输出可能二十多维的 vector，每一维是关节角等物理量，与 4096 维 latent 不同。
• 过去让 language model 逐 token 写出“0.96”、逗号和下一串数字，再解析成电机转角，既别扭，也不 work。淏楠认为 Astra 的变化是推理能力更强，能依指令给出真正有意义、能够操控的序列。
• 对非通用硬件仍有困难，尤其灵巧手。他描述的亮点是：模型动一下关节，再看视频，能把变量变化和视觉效果联系起来，在多轮交互中理解自己的输出怎样影响硬件。“这真挺强的。”
• 淏楠强调，这次确实训了更多具身数据。曲凯问 OpenAI 的专用具身路线与大模型主线，哪条贡献更大，他选择后者；按他的观察，最终“堆到主线里反而是最 work 的”，是更强主线模型的泛化。

9. 仿真能提供训练环境，真机数据仍决定具体操作质量

• 曲凯追问 reward 是否来自视觉判断“拿到苹果”。淏楠没有给出确定机制，而是推测能力可能从其他领域迁移：例如操作 Blender、观察渲染结果，建立动作与 3D 视觉变化的关系，再迁移到具身。
• 仿真的价值要看使用者。大模型厂商可以把它当成 game 一样的 environment；具身厂商最终关心自家机器能否落地，因此要围绕确切机型采 trace，包括成功、失败，以及人接管后的轨迹。
• 灵巧手的例子说明了差距：两根手指把瓶子捏起来，也许算抓取成功，但真正想要的是五根手指贴合瓶身。仿真中的成功，可能并不符合真实产品对动作的要求，仍需拿对应真机数据训练、调整。
• 他保留了路线反转的条件：如果 simulation 真能做得非常好，real-to-sim-to-real 确实可以 scaling up，具身和大模型厂商都可能走过去。难点在物理、摩擦系数等细节，当前“仿真仿得不够好”。

10. 大脑趋向平台竞争，小厂壁垒在硬件与 System 的 Co-design

• 淏楠提到过去 System 零、一、二的划分，认为现在可能收敛为两个系统：直接操控本体的一层，以及上面 language thinking 很强的大模型。这也是他认为具身公司应该拥抱 Astra 的原因。
• 曲凯举出的量级是最高估值约 200 亿元、账上约 50亿—60亿元、不到 10 亿美元；大模型厂商主要五六家分卡，具身却有上百家。淏楠形容双方卡量“差俩零”，初创缺积累、卡与资金，很难沿重训巨大模型的路线竞争。
• 曲凯提醒，具身公司基本都有本体；淏楠强调壁垒在“谁的硬件做得更好”，以及与 System 绑定得更好。他更认可 co-design：自有产品配 7B—16B 小模型，接外部大模型，把整套系统跑通并尽快落地。
• 他认为真做具身更适合去具身厂：产业链像汽车、手机一样长，利润率不像软件，大厂对链条的控制也弱。大厂适合做模型研究，但部门边界让训练人员亲自采数、遥操更困难，难以从底层摸清问题。

11. 长期吸引力在物理生产力，估值要靠真实场景兑现

• 曲凯追问，为什么在估值已高、又受到 Astra 冲击时入行？淏楠说，视频仍有机会，但个人更想做生产力、做 physical AI，投入十几年、二十几年。若只看短期收益，他当年会留在 Agent，也曾拿到美国 TikTok 相当可观的 package。
• 对 AI for science，他区分用 AI 解 ODE、PDE，例如遮挡场景下的 Wi-Fi 布点，以及 AI 帮助化学实验。后者需要能做湿实验的工厂，与具身的线下采数体系很像；他觉得这一路目前可能仍偏早，具身进步也能帮助它。
• 酒店是他认为值得尝试的场景：地面平，可以用轮式机器人；叠被子既有固定流程，也有不同程度的凌乱，介于标准化与非标准化之间。能否降成本、替代部分酒店整理工作，才是把高估值继续往上推的实际依据。

12. 大模型接管失败步骤，才可能让采数闭环转起来

• Astra 算不算具身的 GPT-3 时刻？淏楠觉得“有点算”。他设想，一个模型在没训练过的场景能有 50% 或 60% 成功率，已经很不错；随后让它先操作，出问题时由 GPT 接管，可能替代部分遥操员。
• 通过实时读视频判断接管时机，把后续操作 route 给 GPT，完成后留下高价值轨迹。尤其失败后如何恢复，也就是 error recovery，本身就是训练中非常重要的数据。
• 他给出的迭代是假设性的：把数据回流给自己的 7B、8B 模型，成功率从 60% 拉到 80%；小模型继续操作，失败再交给 GPT，连 GPT 都处理不了才找人。这样可能从一名遥操员盯一台，走到一人盯十台。
• 他把它类比为 speculative decoding：小模型先 draft，大模型 approve 或接管。成功率提高后，GPT 调用量和人的负担一起下降；让 GPT 常态化直接输出机械转角则“不划算”，因为“太慢了，太费了”。

13. 具身更可行的是局部软蒸馏，而非全程大模型示范

• 曲凯问，Astra 的能力会不会被蒸馏成具身开源模型？淏楠先区分“硬蒸馏”：让大模型 Roll 出 Trace 再训练。他认为这在具身里成本过高，“没必要”，经济上不划算。
• 他更认可“软蒸馏”：小模型操作到一半失败，大模型只接管一两步，带回正常轨迹后再交还。“你只蒸了这一两步”，量小、价值高，也能覆盖成本；他判断大概率由具身厂商来做，因为它们更容易部署设备、嵌入采数流程。
• 曲凯保留对未来几年估值与市场的未知，但认为新可能确实被解锁。淏楠则明确称 Astra 是 game changer：第一次感觉“我靠，这东西真的能落地啊，真的能做啊”。他最后的期待仍带着原话里的尺度：“泛化能力这么强，它还都不是 3.5。”