E206|临近机器人GPT-3时刻,具身智能开源模型的加速演进
摘要
2025年机器人模型真正可下注的变化,是统一基础模型开始把“单任务做到极致”改写为“成百上千种任务的平均成功率”问题。 π0用叠衣服验证复杂柔性操作,π0.5进一步进入未见过的家庭环境;Wall-OSS则把重点放在泛化与长程任务。王昊称其为应用上的“指数效应”:模型不再只会一个动作,而开始自主穿插、规划并完成收拾餐桌这类复合流程。
泛化最大的敌人不是常规视觉噪声,而是物理世界无穷无尽且无法预先标注的长尾。 桌布上的褶皱、透明物体的反光、杯子略微放不稳,都可能令小误差在长程任务中“像滚雪球一样被放大”;π0.5在新环境优于π0,但Kay明确提醒,它并非“放到任一个新环境都可以很好地完成任务”。模型最终需要的不是只背熟更多场景,而是物理常识、空间推理与对未来过程的建模能力。
机器人公司的核心数据壁垒不是简单累计小时数,而是同时获得“又多、又好、又快”的数据工程与真实部署闭环。 王昊估计头部公司的数据量仍集中在几万至几十万小时,Wall-OSS用了数万小时真实世界数据;Kay则提出一个刻意粗糙的“百万小时”量级设想,对应人类约100年的物理经验。真实交互数据仍不可替代,合成数据主要缓解视觉分布差异,人类视频更擅长传递动作意图和任务规划。
缺乏可重复的真机榜单,使机器人行业的模型领先程度远比LLM难以验证。 Kay形容现实往往不是某个模型明显胜出,而是“菜鸡互啄”:作者同时充当测评官,硬件状态、场景长尾和任务选择都会改变结果。对投资者而言,运动会、叠衣服或抓取demo只能证明局部能力,更可信的信号是同一硬件上的数据效率、跨环境泛化,以及开放场景中的成功率。
端到端训练与分层控制仍无定论,但王昊提出训练统一、部署拆分的务实路径。 他主张语言、视觉、动作在同一空间对齐并共同反向传播,再把慢推理放云端、快控制放端侧;Kay认为行业甚至尚未稳稳到达“GPT-2 Moment”,架构选型现阶段应服务于数据驱动。π0、π0.5的50Hz也不是魔法数字,关键是一次输出约一秒、50步的Action Chunk,让记忆和观察仍有限的模型获得更连贯的短期计划。
两位嘉宾对行业所处阶段有实质分歧,但王昊把Scaling Law视为当前最清晰的前进方向。 Kay判断现有能力离GPT-2仍有差距;王昊则认为规模化收益已经验证,机器人正处于GPT-2阶段,并预测“一到两年”可到GPT-3水平。这个预测的前提是持续扩大数据、模型和具身基础设施,而非某个单点算法突然突破。
商业化的胜负手是选择既能产生收入、又能为通用模型供给开放数据的场景。 王昊预计两三年内机器人可在半结构化厨房做简单菜、洗碗,约五年可能进入开放厨房并在人工协作下容忍失误;Kay给出更保守的五到十年,并以早期扫地机器人类比“用户学会限定它的错误”。中国更可能以基础模型和场景落地双轨推进,而真实部署量、硬件降本和数据飞轮将决定谁能烧到产品成立。
精读
1. 统一基础模型正在终结“一套系统只做一件事”
Kay回顾七八年的机器人研究:过去可以把一个困难任务做得很精,但整套方案“很难很便宜、便捷地复制到新的问题上去”。近两三年最大的变化,是模型通用性终于得到足够验证,研究者才有资格讨论泛化和整体性能提升。
王昊把分水岭放在2023年前后:此前目标是把单个任务做到极致,如今一个统一基础模型可以同时学习并执行成百上千种任务,优化目标也转为所有任务的平均成功率。“应用上的指数效应”正来自这次目标函数的改变。
进入机器人也改变了王昊对数据的理解:语言和多模态模型依赖的是互联网静态数据,而以秒级或厘米级感知尺度产生的连续物理过程并未被充分记录。具身智能因此不是单纯扩大模型,而是硬件、数据、模型全栈共同推进的“AI下一个前沿”。
2. π0到π0.5把泛化从同一任务推向未见过的家庭
π0在2024年选择叠衣服作为代表任务。Kay解释,一件衣服多一个褶、褶皱角度稍有不同,对机器人都可能是新状态;再叠加“先叠什么、后叠什么”的长序列,便把人类眼中的小事变成机器人界研究十几二十年的难题。
π0.5进一步被放到移动机器人上,并进入训练数据中没有出现过的家庭。它在陌生家庭中展现出一定希望,像人到别人家仍知道怎样拿东西一样,但Kay强调结果“不是完美的”。“不同形状的杯子”等例子则是抓取泛化的递进测试,不都代表π0.5已经完成了这些任务。
抓取本身就有层层递进的泛化:同一个杯子换背景、换位置是一层;外形相近但材质和策略不同又是一层;最终目标则是听到“拿杯子”后,能在陌生家庭找到并抓取完全不同的杯子。
数据收集阶段没有现成公式。团队只能不断追问:“又收了三个房子的数据,这是不是就有帮助了?”甚至设想若收了30个家庭仍无改善,是否该怀疑路线;最终结果显示,π0.5在同一环境中未必明显胜过π0,却在新环境里更强。
3. 长程任务把泛化、规划和复杂情况处理绑成同一个问题
王昊认为,任何真正进入场景的机器人任务都会变成长而复杂的流程。收拾一张餐桌同时涉及硬质餐具、液体与食物残渣、不规则垃圾、柔性毛巾,还要判断不同物品应放在哪里并避免洒出。
这类任务没有固定的“先做A、再做B”:机器人可能需要在擦桌子、倒残渣、整理餐具和折毛巾之间穿插,并应对各种未预期情况。人工很难预先划清每个子任务的边界,因此模型必须端到端地决策、实时规划和闭环执行。
自变量的训练以家庭为主,也覆盖其他场景,包括布置与收拾餐桌、整理卫生间和房间。王昊称,机器人在这些长序列闭环任务中展现的操作和算法能力,让团队“信心大增”,但节目没有给出统一成功率数字。
4. 物理长尾会把每一步的小误差滚成最终失败
王昊把真正困难的部分定义为训练中无法穷举的corner case。光照和常规视觉误差尚可借助传感器、算力、生成模型及数据增强缓解,但“物理世界本身是有无限的可能性的”,很多变化无法提前标注。
他的具体例子是:桌布多一个小褶,杯子就可能放不稳;透明物体的一次反光,也可能刚好干扰相机。人类凭直觉和经验瞬间调整,高度依赖数据驱动的模型却未必真正“感受到”变化意味着什么。
长程任务进一步放大问题:单步误差可能很小,却会“像滚雪球一样被放大”,最后直接令整项任务失败。因此模型不仅要识别眼前画面,还要具备物理常识、空间理解和空间推理,并建立对物理过程的理解。
王昊的结论不是“疯狂地就在现实世界去采数据就结束了”。真机数据、人类视频及其他来源必须被组织成规模更大、质量更高、更多样的数据体系;瓶颈因而是数据工程和数据管线,也包括采集成本、过滤、清洗与任务分发。
5. 没有真机排行榜,模型优劣仍困在“作者兼测评官”
Kay指出,语言模型可以在榜单上宣布名次,机器人行业数十年来却未能建立客观、公平、可重复的真机榜单。任务应该包含多少环境、多少长尾,硬件维护细节是否影响结果,每一项都会破坏可比性。
论文通常只能由作者自己设计测试,再判断新算法是否更好。最理想时,优秀模型会“非常明显地好”;现实更多是“菜鸡互啄”,一次模型、数据或算法改动看似有效,却难以确认提升来自哪里。
机器人运动会中的踢球、赛跑和任务demo同样难以充当统一判据。王昊给出的可行替代,是在同一机器人本体和任务上比较开源模型所需数据量、泛化及推理能力,或把不同方案放进同一真实应用场景接受随机环境检验。
6. 数据的三难之外,硬件维护仍在消耗研究速度
Kay把2025年的数据困境概括为质量与数量仍“鱼和熊掌不可兼得”。高价值数据需要精心设计、采集和清洗,一旦追求细节,上量就变难;模型真正需要的却是“又多、又好、又快”。
真机研究还有一个朴素门槛:研究员可能“一天啥都没干,在修手、在拧螺丝”。机器人领域至今没有像软件下载后即可运行那样,被广泛认可、稳定易用的硬件平台,甚至行业对平台究竟该长什么样仍有争论。
π0发布时,PI统计其数据量已经超过此前Google相关研究所用数据的总和,尽管PI当时仍是年轻公司。Kay同时观察到,随着团队积累采集经验,真机数据并非永远同价,流程成熟会逐步降低成本。
王昊估计头部机器人公司的数据量大致仍在几万至几十万小时,远少于GPT-4级语言模型的数据规模。公司间成本不能直接横比:质量、多样性、硬件与人力价格,以及场景搭建、恢复和自动化运营能力都会改变每小时数据的价值。
7. “百万小时”是一条探索起点,不是机械照搬人类寿命
Kay把自己的判断称为“大胆观点”:若按100年寿命粗算,人一生约有100万小时物理经验,而公开范围内似乎还没有100万小时机器人数据集。她猜测,行业达到这个量级后,“可能我们才开始后面的探索”。
这个数字不是单机必须训练百年的意思。一旦机器人广泛部署,许多机器可以复制并共享经验,100万小时也许几天就能收齐;这正是机器人数据未来可能出现的规模化拐点。
王昊提醒,拿机器人和婴儿比较并不公平。人类已经通过漫长进化把物理经验和应对策略写进基因,也不断优化硬件;他的类比是,生物“能不用智能解决的东西,就尽量用硬件解决”,大肠杆菌只需化学与温度感知便能适应环境。
婴儿也不是连续一万小时只学抓取:他会玩积木、做其他任务,一个月后回头便可能自然掌握原本不会的动作。多任务学习提炼共同物理结构,正是机器人用多样任务预训练、减少新任务数据量,以及PI探索跨本体迁移的核心逻辑。
8. 真机、合成数据和人类视频各自只解决一部分问题
真机数据最昂贵,却仍是高保真物理交互的主要来源,需要硬件、场地和操作员,采集速度也受限制。降低成本的路径包括更便宜的机器人本体,以及带传感器的穿戴设备,而不必所有数据都由最终产品形态采集。
王昊认为,生成模型适合缓解视觉与现实分布的差异,却很难合成真正带有物理交互过程的数据。换句话说,背景、外观可以扩增,接触、形变和动力学过程仍主要依赖现实采集。
人类视频规模巨大、种类丰富、成本较低,目前更容易教会机器人动作意图、高级语义理解和任务规划,而且这种规划可以“通过视频的方式,而不是通过语言的方式去学习”。但如何把视频知识转化为精确机器人动作,仍是困难问题。
π0.5加入了网络数据,希望补充外界知识与“通用和通感”,但Kay不把合成数据的价值说成定论。王昊则肯定Genie 3从互联网、核心是游戏环境中获得大量高质量数据,并通过视频生成既生成视频,也进行一些动作控制;它可能成为交互训练环境,却仍比真实世界简化。
9. Wall-OSS试图把思维链、空间推理和动作生成放进统一模型
自变量用数万小时真实世界数据训练Wall-OSS,并从已有视觉语言模型扩展,使统一框架既能做“思维链”,也能生成动作。王昊强调的能力包括视觉理解、空间推理、多语言指令遵循,以及较高的动作生成精度。
这套模型最关注泛化和长程任务:要解决长序列,就必然面对变化场景、未见过的对象和多种失败情况,因此长程能力不是独立指标,而是泛化、推理、规划和执行的综合测试。
两家公司都把开源视为降低研究门槛的方式。Kay提到,真正开源还要重构代码、测试并确认社区能否运行;回报则是看到模型登上团队从未设想的机器人。王昊认为,它让高校和小公司能在基础模型上做应用,也把荣誉从抢论文转向工程贡献。
10. 端到端训练不等于把千亿模型原样塞进机器人
王昊坚定支持数据驱动的端到端训练:语言、视觉和动作应在同一空间被表征、对齐,人为分层会造成信息损失。模型规模可以做到几百亿甚至千亿参数,并同时学习理解、推理和动作生成。
部署时,物理约束又要求系统拆分。百亿至几百亿参数不可能全部在端侧高频运行,因此慢速任务推理可放云端,快速物理过程留在端侧;动作部分也可蒸馏压缩,语言和视觉推理部分则保留在更大的模型中。
对泓君“大脑与小脑”式System 2/System 1架构的追问,王昊的回答是:训练时未必能把参数清楚分成慢系统和快系统,但整个系统应有一次统一梯度回传;分层优化主要发生在推理和部署阶段。
Kay对架构选择更开放。她认为机器人模型尚未稳定到“GPT-2 Moment”,现阶段最重要的信仰是数据和数据驱动算法;推理与控制分开还是放在一起,都应服务于数据、硬件和最终表现,而非先变成路线之争。
11. VLA让研究路线趋同,却没有消除“GPT-2时刻”的分歧
Kay记得2018年做模仿学习时,它并非主流,机器人研究分散在人形、车、手和PR2等不同平台上。VLA即视觉语言动作模型流行后,原来采用不同方法的人开始共同尝试大模型,把上半身、下半身和多种本体纳入同一通用框架。
对行业阶段,两位嘉宾并未求同。Kay判断现有模型“还没有达到一个像GPT-2 Moment”;王昊则认为GPT-1式概念验证已经过去,参数和数据增长带来的能力提升也已出现,因此当前正是GPT-2阶段。
王昊进一步预测,机器人“一到两年”可以达到GPT-3水平。他的依据是语言模型当年还要经历分散探索,而机器人今天已经看到Scaling Law的可靠性;下一阶段的明确任务就是扩充数据、模型规模与真实具身基础设施,并等待能力涌现。
12. 中美路径不是“通用对垂直”,而是算力、制造与生存条件的组合
王昊把美国路径概括为自上而下:依靠顶级芯片和大算力集群,先探索接近AGI的超大模型。中国芯片受限,反而被迫追求更高效率,但他不同意中国只做“小而精”,因为中国还有移动应用场景和完整硬件产业链。
他的主张是“必须得有大而通用的基础,才会有小而精的发展”。国内更适合上下结合、双轨并行:一边迭代通用模型,一边进入能检验泛化能力的场景,尽早形成商业闭环与数据飞轮。
Kay从创业史解释差异:中国企业习惯从用户需求和生存出发,制造业又特别适合迅速打磨除草机器人等垂直产品;美国当前这批通用机器人公司则是2024年前后才集中涌现,部分源于OpenAI做通大语言模型后给行业的“反思和震撼”。
Covariant Robotics提供了一个案例:Kay称其早期也想把机器学习机器人推向通用现实应用,却因物流场景过于成功而被外界记成垂直公司。Kay说,PI的目标是做通用、做数据驱动,因此会比较小心地避免短期商业项目。
13. 50Hz的价值在一秒计划,而不是频率数字本身
面对“大脑还是手更难”,Kay的回答是“都好难”,但她相信算法可以补偿不够精确的通用硬件。博士期间,她曾让普通硬件达到超毫米级精度,用筷子夹住小球并在空中移动;她的原则是“黑猫、白猫,抓到老鼠就是好猫”。
她并不认为50Hz天然算高频:过去研究常用100Hz至200Hz以上,伯克利抓取工作也用过约5Hz至20Hz,机器人底层控制器甚至可到1000Hz。PI选择50Hz,主要因为模型一次生成约一秒、共50步的计划。
这对应Action Chunk的现实价值:现有模型观察、历史记忆和场景认知有限,逐帧临时决策容易迟疑;一次规划未来一秒,反而更连贯。Kay称这一源自斯坦福工作的方案,在人类示范学习中带来提升,并逐渐成为行业常用做法。
王昊认为控制频率不是核心,频率过高有时意味着模型预测未来的能力不足,只能不断对眼前做短动作。百亿至几百亿参数模型在端侧约50Hz至60Hz已承受很大压力;若视觉模型更懂运动和未来状态,所需频率反而可以降低。
14. 触觉传感器并不稀缺,真正稀缺的是可用于预训练的力数据
当前许多操作主要靠视觉:例如识别桌面并把杯子准确放上去,并不必然需要触觉。抓取时,末端摄像头还可观察物体形变、回弹等迹象,间接判断是否抓紧及力度大小,相当于“用视觉来做这部分力的传感”。
王昊列出的触觉硬件并不少:指尖多方向力传感、手臂和手掌电子皮肤、温度传感器、末端六维力传感器、关节力矩传感器都已存在。因此触觉没有进入基础模型,核心原因并非传感器完全不成熟。
更大的限制是历史数据分布:人类留下的海量数据以视觉为主,触觉和力没有被同等记录。既然视觉已能支持许多关键任务,行业可以继续积累力数据、逐步补足感知,而触觉暂时不是机器人控制的“绝对卡点”。
15. 家庭机器人会先以可容忍的错误进入市场
王昊把家庭服务机器人视为机器人领域一个“完美的图灵测试”:切菜需要精细动作和力控,油污与食材要求丰富感知,菜谱和电器说明需要长程规划,易碎品及各种意外又要求应对能力,几乎囊括具身智能的全部挑战。
他的时间表是:两三年内,模型与机器人可在半结构化厨房做简单菜、洗碗等任务;约五年后,可能进入完全开放的厨房。届时不必零失误,只要总体成功率足够高,并允许向人类求助和协作,就可能成为家庭产品。
Kay给出五到十年的更审慎估计,并以早期扫地机器人为类比:产品无需一开始完美,只要用户理解“它能做什么、不能做什么”,并把错误限制在可接受范围,偶尔出错的机器人仍能形成商业价值。
最终的创业策略被王昊概括为既“仰望星空”又“脚踏实地”:优先选择公共服务、养老等接近通用目标的开放场景,避免封闭任务。机器人部署得越多、环境越多样,反馈与数据闭环越强;模型提升和硬件降本则决定家庭需求能否真正养活公司。