“我看到了 Scaling Law 的信号” | 对谈清华叉院助理教授徐梦迪：具身智能、世界模型、真正的泛化

摘要

• 徐梦迪称已在具身领域看到 Scaling Law 的早期信号，但强调 loss 不等于成功率。 他援引其他公司的结果：预训练数据从十万小时 scale 到一百万小时后，在未见过的测试集上有较好效果；但他用“拿杯子二十步、前十七步可能都没有接触到杯子”的例子说明时序不平衡让 loss 与 success rate 脱钩，他真正想见的是“数据逐渐增多、模型逐渐变大，你在没有见过任务上的 success rate 逐渐升高”。
• 他判断具身当前处于 GPT-1 阶段（预训练+针对 target domain 的 fine-tuning），押注的拐点是 GPT-3 式的 in-context learning 时刻。 终局是终端用户用 prompt 和 demo 定义机器人行为——叠衣服可以叠方块、卷起来或只挂不叠；他判断未来三到五年可能通过 scaling 看到一个明确的范式转变或拐点，而这场马拉松目前只“跑到十公里”。
• 路线之争中他明确更相信世界模型，理由是任务难以通过穷举实现 scalable。 “任务实在是太多了，你很难通过穷举的方式；但如果能通过世界模型学到这个世界变化的规律，它是更 fundamental 的一种能力。”关注名单：美国的 Physical Intelligence、Google、英伟达、Generalist、Roda（音）；国内点名林波新发的 LingBot VLA 2，其 ICL 路线“非常有意义”。
• 对中国具身创业的整体判断：“有非常多实际的进步，但也会存在一些泡沫，两个其实不是互斥的。” 材料、sensor、本体、数据、模型全链条都有国内公司攻关、资源持续投入，长远他“非常乐观”；但行业焦点从数据摆到世界模型再摆回数据，他类比控制系统的“超调”震荡——路线远未收敛。
• 具身落地最 risky 的点是数据闭环的鸡生蛋问题。 base 模型要好到终端用户教半小时就能看到“显而易见的进展”，数据闭环才转得起来；而模型又需要先进场景被使用才能提升。目前他的团队正在真机双臂加灵巧手的桌面任务上尝试采集人类修正指示、改变机器人行为，目标是全身灵巧操作。
• 数据路线上他自称“融合派”，认为 human data 价值很高。 遥操作数据最接近本体、适合 post-training；simulation 干净可控、适合 pre/mid-training；UMI 居中；human data 成本最低可铺满场景——“人确实是一个非常成熟的本体”，morphology 差异可由 transfer 解决，学的本是与形状无关的任务信息。
• 方法论金句贯穿全场。 李飞飞先追问 benchmark 指标中“哪个是真正重要的”，徐梦迪的答案是最终 success rate；她又引用爱因斯坦“把事情变得简单不是更简单”。姚期智的建议是“真正重要的问题其实没有几个”；扣姐收尾：“悲观很容易正确，只有乐观才可能成功。”

精读

1. 三十点五岁的助理教授：从车辆工程到具身智能

• 徐梦迪自报“三十点五岁”，INTJ、摩羯，现任清华叉院助理教授，核心方向一句话：“让机器人能够从现实的场景当中不断的持续提升自己。”泛化主线从 CMU 时期延续至今，源头是 Charles Finn（斯坦福教授、Physical Intelligence 创始人之一）的 MAML——“它能够让机器人学到它没有见过的任务”，他当时认定“这是真正机器人未来的一个方向”。
• 转行路径并不常规：清华车辆工程本科，大二跟机械系严少泽做 bio robotics，研究蜜蜂翅膀碰撞后的超弹性恢复；大三暑假进入 Hobby Cho Set（Howie）的组，设计爬管子的蛇形机器人，从机械设计逐步转向算法。
• 他对泛化的拆解贯穿全场：人类泛化强有两层——“人有很多的先验知识”加“人能学知识学的非常的快”，而“真正的泛化其实是希望能够让机器人有类似人的这种快速学习的能力”。

2. 衡水竞赛班：战友而非对手

• 童年细节：河北衡水人，小学靠放学路上捡小垃圾，其中的钢铁零件可以卖钱，用来攒四驱车。扣姐点评这是车辆工程的种子，他认同：一直觉得机械结构“非常的酷”，是“非常多代的工匠知识”凝结成的精密系统。
• 对争议中的衡水模式，他的样本是物理竞赛班：跑操与作息管理和高考班一样严格，但氛围是“更像是大家在一起抱团把这个问题解决”，竞争弱、战友情谊强——“身边的朋友都跟你有同样的愿景……不觉得苦”。竞赛近似创业的破釜沉舟：等到确认可能没有保送机会，才在高三下学期进入正常高考班。

3. CMU 最佳博论：预训练不是全部

• 博士论文《Building Adaptable Generalist Robots》拿下系里当年两人的最佳博士论文奖。核心命题带着精确的两面性：“预训练本身肯定是非常有用的，我也非常相信 scaling 这个事情，但预训练不是全部”——不能寄希望于机器人靠预训练就“百分之百成功”，部署后必须适应具体环境变化。
• 论据是“开放世界”：家里今天二十个物体、一周后三十个且种类不同，人的 preference 也在不断变化——任务本身在变，机器人必须“在这个变化的环境里面去提升它自己”。

4. 两条解题路线：ICL 与只改 0.5% 参数

• 路线一是 2021 年的 Prompt Decision Transformer，直接受 GPT-3 的 in-context learning 启发：“你就不需要在部署的环境当中重新做训练，它是一种更高效快捷的 adaptation 方式”——给模型一段 demonstration，让它 adapt 到不同的 locomotion 和 manipulation 任务。
• 路线二 Hyper Design Transformer 针对 test-time 改参数的“双刃剑”（改多了预训练知识会遗忘）：先学一个 hyper network，再生成只占整个 Transformer 约 0.5% 参数的 adapter，只适配这一小块。
• 他的结论倒向前者：小规模预训练下 hyper network 更容易 work，但数据与预训练规模上来后，“真正的 future direction 其实还是 in context learning”——不改参数，或攒够 multi-task 任务后再做 batch 更新。

5. 模型参数应该等价于一个 RL 算法

• 他最推崇的续脉是 DeepMind 的 algorithm distillation：主流 VLA 用 expert demonstration 做模仿学习，等于把模型参数当任务记忆模块；AD 的 claim 是“你模型参数应该等价于一个 RL 的 algorithm”——把 suboptimal 轨迹放进 context window，让模型根据过去不好的动作和历史不断修正 future action，参数里蒸馏出的是自我提升能力本身。
• 局限他讲得直白：AD 在模拟器里做的多是走迷宫、locomotion，manipulation“现在还是相对来说比较难”。同脉工作还有 depark 他们组一篇叫 local former 的文章，把 ICL 式 adaptation 部署到四足机器人；以及英伟达最近发表的 Robot TTT——让机器人看人类长程操作视频、用 TTT 改变行为。

6. 为什么 adaptation 现在才成共识

• 扣姐的追问：这事听起来“自然应该重要”，为什么现在才被讨论？他的答案：此前主流是 scale 数据和模型把 prior 堆起来（对应人类泛化的第一层），大家近来发现机器人“确实无法只通过预训练、只通过 expert demonstration based imitation learning 来解决所有应用问题”，第二层的快速学习才被推上台面。
• 顺序其实合理：adaptation 对基模有硬要求——“我们不希望机器人到了实际场景自己学，但学的过程是非常可怕的，比如可能会把杯子打碎”，所以先做 prior 再做 adaptation，“大家从 foundation model 开始做我觉得也是合理的”。

7. 斯坦福博后三件套：BEHAVIOR、steerable 与创造性工具使用

• 在吴佳俊、李飞飞组做了三个工作。BEHAVIOR benchmark 回答“机器人到底应该解决什么样的任务”，含家庭、学校场景与大量开源 asset；他参与用一个叫 momentum 的方案，通过人工操作生成模拟环境中的数据。该 benchmark 至今持续有人维护、易用性在提高。
• 第二件是让机器人更 steerable——follow 更 diverse 的 language instruction、adapt 到不同人的 preference，与他的主线直接相关。
• 第三件最有画面感：creative tool use benchmark。人用工具靠 function/affordance 而非名字——“想切蛋糕但手边没有刀具，我可以用叉子或筷子”；扫桌子没笤帚可以用书本甚至小臂。团队采集大量一/三视角对齐的人类数据，评测三个维度：多模态大模型选工具与生成轨迹的能力、柔性物体（蛋糕、水等 deformable）的 3D/4D 重建、人的灵巧工具使用能否 transfer 给机器人。

8. 李飞飞的一课：只有 final success rate 真正重要

• 李飞飞 vision driven，逼他跳出单个项目思考“领域未来十年什么是真正重要的问题、你在其中扮演什么角色”。最具体的一次：团队把 benchmark 的 metric 定得很细（进度、成功率、耗时等），她反问哪个真正重要——徐梦迪认为“其实就只有一个，就是你 final success rate”，她又引用爱因斯坦：“把事情变得简单，不是更简单。”
• 他的消化：PhD 到 PI 的跃迁是从盯细节 metric 做 debug，到“让大家关注真正重要的那个点”——扣姐总结为“从解题人变出题人”。吴佳俊则更含蓄，会和他讨论具体设计，并推动他建立自己的 research brand。
• 他对 research brand 的理解反而朴素：“对一个问题研究到了超过三年五年，那本身就已经成了你的一个 research brand”——从兴趣出发才是本质，“跟别人不一样”不是。扣姐类比 Paul Graham《如何成就伟大事业》：知识的球远看平滑，走近全是坑洼黑洞，坑洼处即机会。

9. 回国抉择：自由度压倒算力

• 2023 年博五面临工业界/学术界的十字路口：Google 实习体验很好、“有资源做更大规模的事情”，但“同时也会有一个自由度的缺失”——“我希望我的时间能够被最大化的分配到我觉得重要的问题上面去”，学术界因此是他的 optimal choice。他引 ML 概念自况：“no free lunch——你选了一个决定，就要承担它相对弱的层面。”
• 叉院面试由吴毅牵线。选叉院两个理由：学生极强（“很多做 robotics、AI 的人在美国都会认识姚班毕业生”），且机器人是系统——“单纯只做大脑或者只做硬件，都会在我心里有点欠缺”，叉院能让他把机器人做成真正落地的系统。

10. 姚期智的建议与那个答砸的面试题

• 姚期智的建议让他博后期间持续受益：“真正重要的问题其实没有几个，一个人的时间又是非常有限的，把时间摊开到太多的事情上，结果可能并不太好”——一定要 focus。他自认好奇心多，需要反复提醒自己专注。
• 另一位老师的面试题他自认答砸了：“你为什么觉得五年之后一定能成为自己领域顶尖的 researcher？”当时的答案是纯自信的“我觉得我一定可以”；后来的修正版：“如果我找到了感兴趣的 topic——让机器人真的有一天进入千家万户、在实际环境不断提升自己——沿着这个正确的道路研究五年，我觉得我一定不会差的。”

11. 选环境像游戏通关：能力要能翻倍

• 他拒绝“一帆风顺”的标签，自选的词是“幸运”——每次转型“都不算完全顺利”，靠朋友、老师、mentor 支撑。但幸运有方法论：“一个人成长成什么样子，一部分是自己决定的，一部分是你选择了一个什么样的环境。”
• 选环境的标准出人意料地不是“选最好的”，而是看进去之后“你的能力是不是能够翻倍……就像游戏通关一样”。执行靠信息采集：先找朋友 connect，不行就发邮件，“researcher 里面很多人都是非常热心的”。
• 给 I 人的 cold email 技巧：自己先写初版再让 AI polish；他收到“纯 AI 写的邮件通常不会回复”——诚意的标准是“把你的兴趣点落实到实际的工作上面，这个链路是不是能够走通”，只有兴趣没有落实是常见的坑。

12. 中国具身现状：进步与泡沫不互斥，焦点摆动像“超调”

• 回国一年多的总体判断：“有非常多实际的进步，但是也会存在着一些泡沫，它两个其实不是互斥的东西。”好的一面是全链条——材料、sensor、本体、数据、模型——都有国内公司攻关、资源持续投入，“长远来讲的话，我还是非常乐观的”。
• 泡沫的根源是路线未收敛：焦点从数据摆到世界模型、最近又摆回数据。他借控制论打比方：“就像 PID 参数调的不好了，它就会震荡——超调。”但他强调这不是两条互斥路线，而是两个层面：数据决定模型“能够看到什么东西”，世界模型关乎“你的 representation 是什么，你对世界的理解是什么”。

13. 他的 belief：世界模型，因为任务难以穷举

• 站队讲得明确：“我自己本身也是比较相信世界模型的这个路线”——理由是任务本身难以 scalable：“任务这个事儿是一个非常容易不 scalable 的方式，因为任务实在是太多了，你很难通过穷举的方式。但如果你能够通过世界模型的方式让它学到这个世界变化的一个规律，它其实是更 fundamental 的一种能力。”
• 关注名单按 belief 筛选：美国是 Physical Intelligence、Google、英伟达，初创里点名 Generalist 和 Roda（音）——后者“最近也在做一些 in context learning 的尝试”；国内点赞林波新发的 LingBot VLA 2，“也是沿着 ICL 的路线在做，非常有意义的工作”。

14. Scaling Law 信号已现，但 loss 不等于成功率

• 对标题之问，他的原话有分寸：“我觉得还是看到了一些的，但是不是我们自己的”——其他公司的结果显示，预训练数据从十万小时 scale 到一百万小时后，在 hold out 的未见测试集上有较好效果。但大家现在测的多是 loss，而“机器人里面有一个很 tricky 的点是你的 loss 跟你的成功率不是直接挂钩的”。
• 他的例子值得完整保留：拿一个杯子共二十步，前十七步可能都没有与杯子接触，“即使你这前十七步 fit 的非常的好，如果第十八步真的跟这个杯子有接触的时候误差比较大，这个任务其实就很容易失败”——时序上的不平衡让 loss 与 success rate 大部分时候不直接相关。
• 他真正想见的 scaling law：“数据逐渐增多，模型逐渐变大，你在没有见过任务上面的 success rate 是逐渐升高的。”扣姐确认：目前有信号，但“没有那么的强”——他没有反驳。

15. 具身还在 GPT-1，他要的是 GPT-3 时刻

• 机器人会不会有 GPT moment？“我觉得会有，我还是非常相信 scaling 这个事情。”现状类比：主流具身模型是“预训练+针对 target domain 做 fine-tuning”，对应 GPT-1；他真正希望做到的是 GPT-3 时刻——通过 ICL 和 prompting 给模型任务信息而不需 fine-tuning，扣姐补一句“普通人也可以用起来”。
• 对英伟达金范“具身严格对应语言模型各阶段”的演讲，他“总体上是认可的”，但补两条差异：机器人的安全性要前置，部署前需要类似 stress test，“比 language model 更关键也更急迫”；且机器人有身体，context 更多样。扣姐补上实时性：语言模型等二十分钟“完全 OK”，机器人“一秒钟我都觉得它是不是死机了，我想去拍一拍它”。
• Benchmark 他认为具身比语言更需要：要预先告诉 developer 和用户“能力的边界是在哪里”，包括失败与 risky 情况。开源里推荐 BEHAVIOR——长程任务多、家庭环境丰富；drawback 是会被 criticize 有 sim2real gap，“但从模型能力来讲，eventually simulation 只是一种环境”。

16. 叠衣服的三种叠法：ICL 的终局是终端用户定义机器人

• 最近一两个月最重要的工作仍是 ICL 路线，他用叠衣服讲清楚它 enable 什么：现在很多机器人 demo 都叠成方块，隐含假设“每个人家里的衣服都是叠成方块的”——但他自己用胶囊衣橱要卷起来，有人按颜色摆放，有人只挂不叠。“in context learning 本身想要解决的，就是让这个模型有被终端用户定义的能力。”
• 更深一层是训练学习速度本身：机器人学做一道菜，最初 adapt 要半个小时，类似任务学过一千个之后可能只要十分钟甚至更少——“我们本身在训练的是这个模型快速学习新的任务的能力”，铺到更多家庭和服务场景后“它其实是会学的越来越快的”，这是他相信 ICL 能最终让模型 scale up 的原因。
• 扣姐追问最可能“输在哪里”，他的回答是数据闭环，且有鸡生蛋问题：“base 模型需要足够好，学习的速度才会足够快；但又需要先进入到场景里面去，让用户开始用。”用户教半小时必须看到“显而易见的一些进展”闭环才转得起来——“能不能跑通这个数据闭环，其实是最 risky 的一个点”。目前的初步闭环是在真机双臂加灵巧手的桌面任务中，机器人根据人的修正指示和示范改变 behavior，终局是全身灵巧操作。

17. 离线模仿只是内插泛化；数据定义由模型能力反推

• 与离线模仿的本质区别回到 algorithm distillation 那条线：imitation learning 把模型当任务记忆模块，泛化靠“内插性泛化（interpolation generalization）”——模型看过桌面上五个物体、十个位置，之后给它一个相关范围内的新位置能解，“但它其实是没有学习新的任务的这种能力的”。他要的是让模型看到 rich 的 offline 数据：suboptimal 轨迹、人的 body gesture、语言修正指示、human 和 robot demo，激发“远远超过只是 imitate expert demonstration 能够赋予的模型能力”。
• 数据为什么难，难在需求定义：“数据的定义其实不是凭空定出来的，是靠模型的能力定出来的。”要动作平滑就采平滑数据，要 failure recovery 就要采失败加修正的数据——问题是“大家现在对模型能力的定义还相对来说比较模糊”：要不要分割、tracking、depth 和 normal 重建这些 CV 能力？ICL 本身也是一种待定义的新能力。

18. 数据来源上的“融合派”：human data 的价值

• 他自称融合派，各类数据各归其位：遥操作数据最接近机器人本体，适合 fine-tuning/post-training 等后段；simulation 数据干净、可制造位置泛化和纹理泛化，也可以改变颜色等因素，适合 pre-training 甚至 mid-training 的前段；UMI 数据居中——像机器人数据但采集成本更低。
• 对 human data 他态度鲜明：“人确实是一个非常成熟的本体”，成本最低、可大规模铺到不同场景，是场景鲁棒性与场景理解的来源。针对 morphology 差异太大的质疑，他的回应：human 本身就是一种 morphology，有好的 morphology transfer 就有非常大的作用——从 human data 里学的本是“场景的变化、做任务时物体的变化，跟具体形状不那么相关的任务信息”。结论：“用什么数据就要把它用到对的地方，正确的构建数据和模型能力之间的链接。”
• 叉院同事（许华哲、高阳、陈建宇等）私下都忙但有沟通，大 vision 一致——让机器人通过 scale up 落地——细节路径不同：有人更关注视觉模型，有人希望做 VLA 加视觉的融合路线。“短期来讲我觉得这是一个很好的事情，因为确实还没有最终的收敛。”

19. 给学生的建议、AI 论文洪水与十公里处的马拉松

• 给想入行学生两条：一是多看——“书越读越厚，再越读越薄”，很多学生对 fancy 概念的兴趣一追问就模糊，本质是“知道的还不够多”；二是尽早上手，“真机部署是一个非常消耗经验的事情”。面试博士生时常问“你最感兴趣的一篇文章是什么”；听过最好的答案：一个学生引的不是 diffusion policy 而是 diffusion model 最原始的那篇——“能够 trace back，找到这个文章真正的发源地”的刨根问底能力。
• Robotics 论文正在翻倍增长，其中不少 AI 写作痕迹重：“看起来会详实，但是实际上它有很多的论证是有点漏洞百出的”，发现是 AI 写的“兴趣就会打点折扣”。他的过滤器：每天刷自己关注的研究者转发、宣传的工作——这些论文已经经过作者认为“值得自豪、值得推广”的一轮筛选。
• 终局判断：具身这场四十二公里的马拉松“跑到十公里”——强调泛化、强调通用能力的智能机器人“实际落地还是没有看到的”，但“未来的三到五年，其实我们能够通过 scaling 看到一个明确的范式的转变或者明确的一个拐点”。扣姐收尾的一句值得留下：“悲观很容易正确，只有乐观才可能成功。”