机器人领域的苦涩教训：为何规模化取胜 — Jason Ma，Dyna Robotics

摘要

• Dyna Robotics拿出了许多机器人初创公司尚缺的一项商业化验证：多地点、经客户验证的规模化部署，而非试点。 它的机器人已在多家鼎泰丰门店每天折叠数千张餐巾，也为Best Western折叠洗衣物。Jason称，鼎泰丰签下了一份大得多的合同，并在考虑将切食材作为另一个应用场景；但访谈并未证明切食材已纳入合同。他的说法是：“真正难的是让客户验证，机器人的价值足够大，值得在旗下多家门店部署。”据他“所知”，类似的通用机器人公司还没有做到这一点。
• Jason称，技术路线押注于Dyna-2：这是首个以超过100万小时数据训练的“世界动作模型”。 它预测未来的视频或未来世界的表征，并以此引导动作。Jason将其比作“思维链”：模型在视觉和物理空间中推理，再输出动作。底层采用结合流匹配的扩散Transformer。Vibhu称，动作空间约有100维；模型每秒10–20次预测一个至少50维的向量。
• 任务适配所需的机器人数据采集时间，从几十分钟到一两个小时不等。 切菜任务用了45分钟；开冰箱则是工程师入职面试中的任务。Vibhu说，新机器人自身数据不多，却能迅速学会任务，关键在于硬件尚未就绪时就先用人类数据预训练。机器人的身材比例也参考了人体，以改善迁移效果。
• Dyna 2.1被定位为搭载“物理智能体执行框架”的硬件平台，能够支持更长的工作流程。 Vibhu称，完整洗衣流程约需1小时，并认为机器人真正的价值在于连续数小时无人值守地完成工作。演示片段展示了洗衣流程的部分环节，旁白称完整流程之后才会发布。公司的演示旁白将目标描述为让机器人“成为工作场所的一名完整员工”（a whole employee at a workplace）。
• Dyna走全栈路线：自建推理栈，并在推进执行器自研，同时打造带轮式底座和4自由度腰部的半人形硬件。 Vibhu称，腿式设计在能耗、稳定性和安全性上存在取舍；与其花5年或10年打造最终形态的仓库人形机器人，不如先用半人形产品与真实客户迭代。谈及供应链，Jason称磁体是瓶颈，只有2个国家生产；Vibhu提到稀土材料，Jason则表示不清楚具体化学成分或材料。Vibhu补充说，没有哪家美国公司真正能在美国从零打造所有部件。
• 数据是一个“非静态问题”，合成数据也可能成为新的扩容路径。 Jason认为，单家公司的数据采集远远不够，“这就像只靠Reddit或只靠Facebook来建设互联网”。Dyna正在通过[email protected]征集第一人称视角、人类、机器人、视频及其他有用数据，同时也在探索定制任务数据。Jason认为，前沿模型的真实世界到仿真迁移能力正来到拐点；Dyna的世界动作模型也可能生成视频，形成自我供给的训练数据飞轮。
• Vibhu指出，纯视觉世界模型可能存在模态缺失的问题。 他认为，视觉加触觉、数据效率高出100倍的模型可能是另一种方案，因为触觉信息可能比高度冗余的像素更密集。他还称，机器人公司可能比视频生成公司更适合增加感知模态。硬件同样是瓶颈：灵巧手可能很快过热。
• 部署目标是目前已有数十台机器人，明年达到数百台，长期愿景则是数百万台。 Jason警告称，“机器人公司有一大片坟场”，里面满是演示亮眼的产品；只专注问题一部分的团队可能陷入“战争迷雾”，做出看起来很厉害、却不是客户所需的东西。

精读

1. Dyna-2是一种世界动作模型：预测未来，再采取行动

• Jason将其定义为一种预测“世界未来状态”的模型：输出视频或其表征，再据此生成可执行的机器人动作。他将其比作人类“会基于自身行动，隐约推演世界将如何变化”。他称，这让模型更灵巧、更稳健，也更能适应陌生环境。
• 输入包括过去几秒的摄像头视频、机器人关节编码器读数和语言指令；输出包括动作，以及未来视频或其表征。用Jason对思维链的类比来说，“模型在视觉和物理空间中推理，再输出动作”。
• Dyna-2被称为首个以超过100万小时数据训练的世界动作模型。Jason说，这100万小时“还不够”，只是“刚刚开始”。

2. 为什么采用扩散Transformer，流匹配又为何适合机器人

• Jason称，Dyna-2采用扩散Transformer架构。Transformer可以处理大量数据；扩散模型则通过迭代，将噪声逐步转化为精确输出。机器人动作需要平滑、精确，类似生成图像需要细致的局部特征。
• 流匹配是更易调参的一种扩散方法。Jason称，它适合生成动作，因为机器人可以实时重新评估；主持人则将其与图像生成作对比，后者更像一次性生成。
• Vibhu称，机器人的动作空间约有100维；模型每秒10–20次预测一个至少50维的向量。在洗衣演示中，一位讲解者称，单个模型控制每个关节，不把经典规划与动作执行拆开，以免动作变得不够平滑。

3. 一个通用基础模型，再用几分钟到几小时适配每项任务

• 路线是先用尽可能多的数据训练通用模型，再针对任务做适配。Vibhu称，新任务可能需要一两个小时的机器人数据采集，有些任务只需几十分钟。Jason说，切菜用了45分钟；开冰箱则是工程师入职面试中的任务。Jason以人类作比：如果他或你去Rosewood Hotel工作，也得先学会按酒店要求铺床。
• 评估闭环是训练、部署到真实世界，再观察表现。Vibhu称，有些模型开箱即用；当模型“做到70%或80%”时，团队会找出不足、补采数据并迭代。他将其比作机器人领域的基于人类反馈的强化学习。
• Vibhu称，这款新半人形机器人自身数据相对有限，却能快速学会任务；他将此归功于硬件就绪前便用人类数据预训练。另据他介绍，机器人的身材比例是参照真实人类测量的，以改善迁移效果。

4. 数据：机器人没有互联网，数据质量也在变化

• Jason称，机器人领域缺少语言模型能够使用的互联网规模数据。单家公司的数据采集“远远不够”，就像试图只靠Reddit或Facebook来建设整个互联网。
• 他提出的方案是结合第一人称视角的人类数据和机器人数据：前者覆盖多样的身体活动，也让模型形成对具身行动者周围世界如何变化的先验；后者则弥合人类动作与机器人动作之间的差距。机器人数据成本更高，也更难采集。Jason将数据质量称为一个“非静态问题”（non-stationary problem）：随着模型发展，什么算高质量数据也会变化。
• Jason邀请拥有第一人称视角、人类、机器人、视频或其他潜在有用数据的供应方联系[email protected]。他还称，类似Mercor为语言模型采集的任务专属数据，也可能对机器人有价值。访谈提及了数据采集和公开征集，但并未证明Dyna已经在购买这些数据。

5. 合成数据可能成为新的扩容路径，模型也可能反哺自身

• Jason说，他在读博期间做的Eureka项目用GPT-4为仿真生成强化学习奖励函数，并展示了机器人旋转铅笔的演示。当时模型的视觉和3D理解能力有限。如今，前沿模型在视觉方面的进展——包括从真实世界生成仿真CAD模型和进行3D重建——在他看来可能让机器人领域迎来拐点。
• Dyna正在探索利用前沿模型生成定制的合成环境和数据。Jason还称，Dyna的世界动作模型可以生成视频，作为自身训练数据，形成潜在的数据飞轮。
• Jason称Dyna是一家AI原生公司。GPT-6发布当周，公司就办了一场黑客松，其中一些成果已经投入生产。他认为，构建虚拟环境并将其转化为仿真，是特别令人兴奋的能力。

6. 全栈硬件：成熟部件外购，决定系统性能的环节自研

• Vibhu的自研与外购原则是：输入输出明确、方案成熟的部件可以采购，例如LiDAR和部分摄像头；对系统整体表现至关重要的环节则自己开发。Dyna正推进执行器自研，因为执行器的质量和设计会影响机器人在仿真中的建模效果。Vibhu称，机器人身材比例参照真实人类测量，因为Dyna正用人类数据预训练，这有助于迁移。
• 机器人采用半人形设计，上身类似人形，腰部有4个自由度，下方则是轮式底盘。Vibhu称，腿式与轮式方案在能耗、稳定性和安全性上各有取舍。他认为，躯干活动能力对日常任务和人类数据迁移都很重要；无法活动躯干的机器人，能力会更弱，动作也更别扭。
• Jason称，磁体是供应链瓶颈，只有2个国家生产；Vibhu提到稀土材料，Jason则表示不清楚具体的化学成分或材料。Vibhu称，没有哪家美国公司真正能在美国从零制造所有东西；面对地缘政治和运输风险，Dyna正在探索增加美国制造、同时结合全球采购的方案。

7. 鼎泰丰餐巾：试点与生意的区别

• Jason称，Dyna的机器人已在美国多家鼎泰丰门店每天折叠数千张餐巾，这是公司规模最大的客户。他强调，试点和多门店部署不是一回事：“真正难的是让客户验证，机器人的价值足够大，值得在旗下多家门店部署。”据他所知，类似的通用机器人公司还没有真正做到这一点。
• 餐巾折叠的标准很精确：第二道折痕要在口袋下方几厘米处，才能放入筷子。被问到为何不用专用机器、而要用通用机器人时，Jason称，可变形物体“可能的形态无穷无尽”，通用模型适配任务后，能更快达到生产级质量。
• Jason称，鼎泰丰签下了一份大得多的合同，并在考虑将切食材作为另一个应用场景；访谈说的是正在考虑，并未确认已签约部署。他还称，洛杉矶、纽约和西雅图的门店折餐巾方式各不相同，但模型的共享权重可以通过远程更新同步到各台机器人。主持人称其表现已达到人类水平，Jason认同，并表示机器人不会累。

8. 更长的工作流程需要智能体框架，推理也必须足够快

• Vibhu称，真实的物理工作既需要高层推理，也需要底层动作。在洗衣流程中，洗衣机运行时，机器人得决定先做另一项任务；洗完后，还要把毛巾移到烘干机里。如果只靠低层动作模型学习这种长时序推理，效率会很低，因此Dyna在世界动作模型外搭建了智能体系统。
• 他将此比作语言模型从自动补全文本走向能够端到端完成任务的智能体。Vibhu认为，机器人真正的价值在于连续数小时无人值守地完成工作；机器人本质上是一个系统工程，涉及智能体、执行框架、模型和硬件。
• 延迟限制了部署：机器人不能拿着刀停上几秒，动态物理任务也等不起网络调用。Vibhu称，部署模型必须足够小，才能在本地运行；一种路径是先训练大模型，再进行蒸馏。他还称，Dyna自建推理栈。
• Dyna 2.1的演示旁白称，硬件和执行框架支持端到端工作流程。访谈描述的画面包括把毛巾从洗衣机转移到烘干机、处理掉落的毛巾、操作烘干机，以及通过推理层和动作层取饮料。旁白称，洗衣画面只是完整流程的一部分，完整流程之后才会发布。Vibhu称，一轮完整洗衣流程约需1小时。

9. 行业格局，以及世界动作模型路线可能错在哪里

• Jason认为，预测原始摄像头输入，可以避免预测抽象世界表征时引入的部分偏差。他称，机器人需要尽可能预测整个世界，而不是先假设哪些部分重要。
• swyx问什么方案可能更好时，Vibhu指出一个问题：视频可能遗漏声音、触觉等重要信息。一种可能性是数据效率高出100倍的视觉加触觉世界模型；触觉信息可能比高度冗余的视觉像素更密集。
• Vibhu称，如果多模态感知最终是解决机器人问题的关键，机器人公司可能比视频生成公司更有条件开发这类能力，因为理解并融合传感器并不简单。另一次对话中，swyx提出能否围绕硬件知识“vibe-code”，Vibhu回答这“根本不在分布范围内”。
• Jason称，目前有许多不同路线，包括扩大人类数据规模、扩大机器人数据规模，以及使用中间数据采集设备；现在还很难判断哪条路会胜出。他警告，只做问题某一部分的团队可能陷入“战争迷雾”（fog of war），做出看似惊艳、但客户并不需要的东西；他提到有许多机器人公司带着亮眼的机器人走向“坟场”（graveyard of robotics companies）。

10. 机器人领域的苦涩教训，以及迭代为何重要

• Jason所说的“苦涩教训”是，机器人会像其他机器学习领域一样靠规模化发展，但找到合适的数据更难，因为传感器的选择决定了能采集到什么数据。他主张使用更简单的算法、扩展正确的数据，而不是依赖特定先验，例如物体框。
• Jason认为，人形外形最终可能最适合通用机器人，但建议采取迭代路线，因为硬件决策成本高、改变也慢。他提到Optimus经历过多轮迭代并淘汰过设计；与其花5年或10年打造仓库人形机器人，不如先把半人形机器人部署给真实客户，从中更快获得反馈。
• Vibhu认为，硬件稳定性和数据是提升通用能力的瓶颈。灵巧手可能过热；硬件限制也会拖慢评估和研究进度。他称，即使拥有数百万小时数据，缺少声音、触觉等传感器，仍可能漏掉任务中的关键信息。对于今天就能采集高保真数据的工作流程，他认为并不一定存在根本性瓶颈。

11. 从AlphaGo到鼎泰丰：创始人经历与发展路线图

• Vibhu称，AlphaGo在他读高中最后一年时激发了他对AI的兴趣；他从小就是围棋爱好者。在宾大期间，他在GRASP Lab研究机器人强化学习，包括如何将强化学习与人类数据结合。在NVIDIA，他与Jim Fan和Yuke Zhu一起做了转笔和Eureka项目；后来在Google DeepMind，他探索将Gemini用于机器人。他说，自己希望从实验室评估走向真正能在现实世界使用的工作。
• Vibhu称，Dyna这个名字部分来自Richard Sutton的论文《Dyna：学习、规划与反应的集成架构》（Dyna: An Integrated Architecture for Learning, Planning, and Reacting），论文讨论的是一种能在世界模型中不断改进的智能体。另一个灵感来自他出生那年一个名叫Dyna的奥特曼角色。
• Jason称，Dyna已部署数十台机器人，目标是明年部署数百台。公司在结尾旁白中提出的长期使命，是进入数千个客户场所，最终部署数百万台机器人。一位公司发言人称，约30%–40%的员工负责硬件，约10人负责模型。
• Vibhu称，公司文化由产品驱动：先找出泛化、全身控制、快速适配、听懂语言指令和灵巧操作等问题，再由工程师设计任务进行压力测试。抓取饮料的任务，就是测试机器人是否会遵循指令。
• 结尾的招募信息面向希望推动机器人落地的人，邀请他们加入公司。发言人称，Dyna目前在湾区招聘。