先锋 趋势 方法 投研 作者
E217|聊聊灵巧手的硬件与算法,开可乐发扑克有多难?|机器人特辑
返回节目精读

E217|聊聊灵巧手的硬件与算法,开可乐发扑克有多难?|机器人特辑

摘要

  • 真正的里程碑不是拍出开可乐,而是让机器人面对任意朝向的罐子,自主完成感知、手内旋转、双手对准与精细力控。 齐浩之判断目前“没有这样的公司”,单项攻关从技术上或许几个月、投入大量资源能做出,但可复用到开门、拧螺丝等任务的算法框架才算GPT时刻;他的谨慎预测是3—5年,陶一伟则认为达到这一水平的硬件产品今年内就可能出现。

  • 机器人Demo需要按场景固定程度、是否遥操作和连续成功率打折,而不能只看一次成功。 固定环境下自主把盘子放进洗碗机,现有算法做到80%—90%成功率并拍出视频并不难;但家庭使用可能要求接近100%,因为“有10个盘子,如果直接碎了一个”,用户就不会接受。倒酒只是压下把手,开可乐却是双手对同一物体进行力对抗,两者不在一个数量级。

  • 灵巧手硬件尚未形成唯一构型,但路线正在向直驱和单向绳驱集中。 直驱自由度高、控制和仿真更直接,却有接近或超过1公斤、减速比高、寿命和抗冲击能力可能成为问题等代价;单向绳驱对腱绳蠕变不那么敏感,也较容易实现力控,却靠弹簧伸直,会牺牲抓握力,也缺少主动向外推的能力。齐浩之预计仍需“几轮迭代”,才能出现类似宇树机器人那样逐渐收敛的构型。

  • 数据而非模型口号,仍是灵巧操作规模化的核心约束。 齐浩之据与Physical Intelligence研究员的交流称,π0.5“好像”有1万多个小时的数据,可能已是整个机器人行业最大的真实数据集;行业的“金字塔”是遥操作数据少而最有效,视频数据海量但目前尚无定论如何最好利用,仿真、机器采集和专用设备位于中间。企业若追求当前绝对效果仍优先遥操作,人类视频可能在未来几个月、一年或更久后凭规模反超,但“应该不是此时此刻”。

  • 触觉是机器人从“看着抓”走向快速、稳定力控的重要反馈。 手会遮住接触点,视觉很难判断是否抓稳;开可乐又要求一只手既握紧又不能捏爆,另一只手以正确角度施力且不能拉断拉环。表面触觉、视触觉相机和驱动器电流共同对应人类的皮肤感觉与肌肉感知,“有触觉,它能给你更多的信息”。

  • 特斯拉Optimus的案例显示,灵巧手竞争不仅是自由度竞赛,也是可装配性与产能竞赛。 陶一伟2023年7月加入特斯拉时,内部第三代手是6个主动自由度、11个关节的欠驱动绳驱方案,加入编码器与触觉后“一只手从早装到晚也装不出来”;重构为内部称3.1代的版本后,离职时产线已能做到每周一百多台,而不是早期每天一两台。

  • 现阶段高价灵巧手更像研发平台和客户筛选器,商业路径仍在分叉。 Sharpa约5万美元一只、10万美元一对,Shadow Hand约15万美元;齐浩之认为厂商当前未必靠硬件盈利,而是在筛选大厂和受政府资助高校、验证构型。泓君进一步将其概括为吸引开发者、建立生态。TetherIA选择另一条路:接受自由度和触觉没有那么“高级”,优先做稳定、可靠、低价、可快速部署的产品,以应用反馈建立生态。

精读

1. 演示已经能“做成”,却还不能证明机器人“会做”

  • 齐浩之先划出能力边界:在有人遥操作、手指无需精细协作时,许多展示并不难。Optimus倒酒的手指几乎没有交互,只是把手放到出酒把手上往下压;真正使用剪刀、螺丝刀时,多个手指必须精确配合,控制难度会骤增。

  • 一旦任务从一家一户扩展到千家万户不同的工具、摆放和环境,难度还会“呈指数级的上升”。因此当前缺口不只是精细运动,也包括把同一技能迁移到陌生物体和场景的泛化能力。

  • 陶一伟从硬件端补上另一层约束:现有手还未完全做到在真实环境中连续、长时间稳定运行,并在反复接触自然物体后不损坏。增加自由度和触觉能打开高精度任务,却同步抬高系统复杂度,使可靠性更难保证。

2. 随机摆放的可乐罐,是双手灵巧性的综合考题

  • 陶一伟把开罐拆成完整链条:机器人先感知罐体和拉环朝向,以任意姿态抓起,再在单手中调整角度;另一只手从空中精确卡入拉环,以合适方向和力度拉开。握罐的手还要对抗拉力,却不能因力量过大把易拉罐捏爆。

  • 齐浩之强调,“这个例子它可以变得很难,也可以把这个例子变得简单”。限制罐子的朝向或加入遥操作,都能显著降低拍视频的难度;一家公司从技术上花几个月、投入大量资源应可完成这一单项任务。

  • 面对泓君追问“随意摆上去”能否自主打开,齐浩之的回答很明确:“现在是没有这样的公司的。”这不是技术上永远做不到,而是公司更愿意改进算法,使未来适配新任务的时间缩短,而非为单一视频长期特调。

  • 洗碗机任务则主要是抓取碗碟、拉开门、放入架子,更多属于简单抓取和拉杆操作。陶一伟的对照很关键:它没有开罐中双手同时作用于同一物体、彼此对抗又必须限制力量的闭环控制,因此“不在一个数量级”。

3. 家庭场景的门槛不是80%成功,而是近乎不出错

  • 对Figure AI一类洗碗机视频,齐浩之没有猜测幕后是否遥操,而是给出更有用的判断:固定场景中,现有算法自主做到80%—90%成功率并拍出视频,难度可能并不高。

  • 泓君的质疑由此从“视频真假”转向可用性:一次成功不能代表产品能力。齐浩之指出,连续处理10个盘子时,90%的单次成功率可能出现碎掉一个的情况,“这样看大家就不想用这个机器人了”。

  • 所以消费级家庭机器人的关键指标是跨环境泛化和接近100%的连续成功率,而不只是动作列表。投资者看到“会倒酒、会收碗”时,更应追问每个任务的场景变化范围、连续执行次数及失败后果。

4. 灵巧手不是独立部件,它把整台机器人的难点串在一起

  • 齐浩之的系统观是:一只灵巧手至少要搭配双臂,才构成可工作的最小机器人系统;若要在环境中泛化,还需要移动底盘。遇到复杂路面和上下运动,人们又会追问是否必须采用全人形,因此“真正能让灵巧手有价值”绝非单个硬件模块即可解决。

  • 软件复杂度也随接触点激增。夹爪只需规划两个接触点,多指手却可能同时出现10个接触点;每个关节都与物体或环境交互,有些接触力互相帮助,有些互相对抗,计算和控制难度显著上升。

  • 研究既可把灵巧手与机械臂组合,专攻桌面抓取的精细性和泛化;也可把手装在人形机器人上,研究边移动边操作,例如人形机器人开门或走路时完成操作任务。

  • 最近一两年,中美硬件供给已有长足进步,但不同公司的形状、驱动和自由度仍不一致,算法团队必须逐手适配。齐浩之预计还需多轮迭代,行业才会出现像宇树机器人那样“逐渐收敛的构型”。

5. 连杆手成熟易懂,但低自由度方案很难拉开与夹爪的差距

  • 传统低自由度连杆手常见6个自由度:四根手指各一个,大拇指有弯曲和侧摆两个。各指尖沿固定的一维轨迹合拢,大拇指也只对准食指或中指;陶一伟认为它虽有人手外形,使用特点与夹爪并没有特别明显的区别。

  • 高自由度连杆并非不存在。陶一伟举韩国论文ILDA为例:每根手指根部设置三个主动直线驱动器,再通过复杂连杆实现三个自由度,能力更先进;代价是体积较大、零部件刚性连接、抓握不够柔顺,碰撞时也更容易损坏。

  • 连杆结构在仿真中还会带来额外负担。齐浩之的修正值得保留:研究者偏爱直驱,不是因为它天然更像人手,而是复杂连杆不容易被物理引擎精确仿真。

6. 直驱把控制和仿真做简单,却把重量、价格与耐久推向前台

  • 微型电机近年的尺寸和功率密度进步,使每个关节布置独立驱动器成为可能。直驱手因此可获得很高自由度,关节与电机一一对应,控制关系清楚;对强化学习而言,多关节只是多个直驱电机串联,仿真难度不会像复杂连杆那样上升。

  • 代价同样具体:微型系统往往需要较高减速比,传动透明性较差,精密齿轮的寿命和抗冲击能力可能成为问题;高强度金属结构又使整只手普遍接近1公斤或超过1公斤,这对机器人末端是显著负载。

  • Sharpa之所以让嘉宾觉得“惊艳”,一是人手尺寸下实现了直驱和高集成度,二是完成度与工业设计较高。其双臂系统展示过拿相机拍照和发扑克牌;后者要求在间隙极小的牌堆中精确控制接触点和力,否则会一次抽出多张或打散整叠牌。

  • 泓君最初把“人手相似度”理解为仿真要求,齐浩之进一步澄清:尺寸接近人手主要因为现实工具本就按人手设计。机械手过大,就无法抓取小物体;理想平台应同时满足易仿真和适配人类物品尺度。

7. 绳驱更接近肌腱,也把蠕变、走线和主动伸展变成工程账单

  • 双向绳驱的代表是26自由度、约15万美元的Shadow Hand,以及苏黎世联邦理工推出的开源ORCA Hand。每个关节由两根绳控制正反方向,但材料使用后会蠕变、松动,降低精度;ORCA Hand用棘轮方便张紧,仍需不时调整。

  • 高自由度绳驱的另一难点是空间利用率。机械设计必须为不断变化的绳路留出范围,很难像齿轮和电机那样紧密排布。Evan Tao随后列举Shadow Hand、ORCA Hand、特斯拉以及源升智能的方案,称它们把驱动器整合在手掌内,代价是掌部体积较大。

  • 特斯拉采用单向拉绳,以弹簧完成伸直。它对绳材蠕变不那么敏感,也更容易用算法补偿,却没有主动伸展力;弹簧越强,抓握时需要先对抗的力量越大。陶一伟概括,当前“更多还是在解决抓握问题”,张开动作还没有用得那么多。

  • 主动向外推并非无用。泓君以闭眼在书包里找东西为例,说明有时需要先拨开其他物体再抓取目标。TetherIA采用单向绳驱与直驱混合方案,但具体结构仍属保密;陶一伟观察到行业当前主要向直驱和单向绳驱收敛。

8. 训练路线会影响硬件选择:遥操作重数据,Sim-to-Real重可建模性

  • 齐浩之把主流机器人学习分为两条路:第一条由人遥操作采集数据,再训练神经网络,ALOHA和Physical Intelligence是典型;第二条在物理模拟器中用强化学习训练,再迁移到现实,四足、双足机器人的走路、跳舞大多采用这一路线。

  • 对需要高自由度和强化学习的灵巧操作,团队会优先评估一只手是否容易仿真。齐浩之用过连杆和直驱,未实际使用绳驱;其经验是直驱的关节结构更容易在模拟器中表达,因此更适合当前Sim-to-Real研究。

  • 这也对应了现代机器人与20年前ASIMO式成果的差异。过去让一台机器人跑步可能需要高精尖团队迭代数月乃至数年;现在一套算法达到跑步后,稍作调整就可能迁移到跳舞。真正的进步不只是动作本身,而是获得动作所需的时间可能大幅缩短。

9. 高价灵巧手首先是在筛客户和路线,不是在证明量产利润

  • 泓君最初看到Sharpa约10万美元,齐浩之纠正为约5万美元一只、两只约10万美元;Shadow Hand则约15万美元。购买者可能是大公司研发部门和获得大型政府资助的高校,而非普通应用客户。

  • 齐浩之认为,这些厂商此刻未必依靠卖硬件盈利;价格具有筛选作用,只把产品交给需求强烈、能提供反馈的客户。齐浩之举例称,2017—2018年的OpenAI是Shadow Hand主要客户之一,曾用其做灵巧手转魔方;他还提到当时“没有足够的财力支持这样的工作”,但原话没有明确这一表述的指代对象。

  • 高端路线的眼前目标,是发现当前构型仍需优化之处并经历更多轮迭代。泓君进一步概括为希望吸引开发者、搭建生态,但这是主持人的理解,并非齐浩之在此处明确陈述。

  • TetherIA选择相反切口:产品的自由度、性能和触觉可以暂时没那么高级,但必须稳定、可靠、价格低,让应用客户迅速部署。陶一伟强调,便宜“不代表没有技术含量,也不代表没有商业价值”;规模化反馈本身就是继续改硬件的输入。

10. Optimus第三代手的跃迁,首先发生在装配线而非Demo里

  • 陶一伟于2023年7月加入特斯拉时,Optimus机械硬件团队约十几人,手项目主要由他与另一人负责。内部第三代方案采用蜗轮蜗杆绳驱,拥有6个主动自由度、11个关节,是一只欠驱动手。

  • 当时的主要升级是加入关节编码器和触觉,以捕捉空间位姿和接触信息。看似只是电路功能增加,却挤入沿用第一代构型的内部空间,导致装配者必须同时压弹簧、穿零件和处理走线;“一个手,我们从早装到晚也装不出来”。

  • 马斯克看到第三代后并不满意:外形仍像实验室样机,产能也只有每天一两台。他关注的不只是炫酷外观,而是整个设计能否落地生产;陶一伟随后与工业设计团队从内到外重构,形成内部称为3.1代的手。

  • 3.1代后来成为节目所称“直到现在”仍用于装机和大规模量产的版本。陶一伟离职时,技术工人和产线每周已能装一百多台;这段变化说明,编码器、触觉和自由度只有与工序设计、可维护性及产能结合,才会成为产品能力。

11. 仿生提供结构启发,但量产仍要把肌腱变成标准工艺

  • 特斯拉按“第一性原理”研究仿生,团队阅读手部解剖和肌腱发力论文,还借同事的手外科医生母亲之便现场观察真实人手结构。陶一伟的感受很直接:“人体非常精妙”,同时也会觉得“人真的非常脆弱”。

  • 从上一代到陶一伟所称“马上要发的这一代”,特斯拉最大的变化之一,是把驱动器从手掌移到小臂,借鉴人类部分屈指肌肉的位置。但他也补充,人手并非所有肌肉都在小臂:小臂更多承担大抓握力,掌内肌肉更多控制精细操作,这也是TetherIA方案与特斯拉存在差异之处。

  • 齐浩之追问绳驱与直驱在大规模生产中的产能差别。陶一伟认为直驱更接近成熟机械系统,可通过拧螺丝、焊接等传统工艺保证精度和效率;腱绳两端如何快速、稳定地连接驱动器与末端执行件,行业仍在探索。

  • 不过陶一伟把边界说得很清楚:绳索固定、张紧与快速装配“最终还是一个工程的问题,它并不是一个基础的科学问题”。随着产业链和工艺推进,他相信这些问题可以被克服。

12. 人类视频提供规模想象,但当前最强能力仍来自遥操作

  • Meta内部并非只有一条机器人路线:今年年初新成立的项目希望从硬件、数据到算法打造家用人形机器人;FAIR下的机器人组则偏基础研究,寻找能带来最强灵巧性的算法。齐浩之在后者重点研究从人类视频学习灵巧操作。

  • 遥操作要求一名操作员适配一台机器人,机器人数量和产能限制了数据规模,很难扩展到语言数据的量级。烹饪、清洁等现成视频则包含大量手部动作,长期目标是让机器人“看”这些动作后学会技能。

  • 齐浩之没有夸大现状:若只追求当前最好效果,直接采机器人遥操作数据仍然最佳;从视频学习还在研究阶段。它可能凭样本规模在长期取代遥操作,但目前尚未积累出足够数量,也尚未找到最有效的利用方法。

  • 1X NEO把这种矛盾带进家庭:机器人背后仍有人类操作员,由此获得真实任务数据,却引出隐私和伦理问题。齐浩之把它类比为特斯拉通过用户开车采数据,只是家庭机器人不能由用户直接驾驶,只能由公司的操作员介入。

13. 数据金字塔决定能力上限,世界模型只能补信号而不能替代现实

  • 灵巧手数据比普通机械臂更难采。简单抓取再放下可以一直做到操作者疲劳;但遥控机器人用剪刀剪窗花或完成折纸,“即使是收集一条都非常难”,因此算法必须设法减少对稀缺高难示范的依赖。

  • 齐浩之虽“不百分之百确定”,但认为Physical Intelligence很可能拥有最多的有效遥操作数据;他与研究员交流得知,π0.5“好像”有1万多个小时的数据。其他公司采集的原始时长可能更多,真正的问题却是“什么样的数据是有用的”。

  • 行业用“金字塔”描述数据:遥操作位于尖端,量少而效果强;视频位于底座,海量却不一定最能提升机器人效果;机器人自主采集、仿真及Sunday、Generalist式专用设备处在中间。泓君概括为遥操作偏精确、视频偏泛化,齐浩之认可这一理解。

  • 对Genie 3一类世界模型,齐浩之拒绝两个极端:说基础模型完全无用“有失偏颇”,但认为训练一个巨大视频生成模型就能解决机器人也“不现实”。视频生成尚未完全解决物理真实性;若仅凭数据就能学透世界规律,语言模型也应能消除幻觉,而事实并非如此。

14. 灵巧手的GPT时刻取决于迁移速度,而不是第一次打开可乐

  • 齐浩之没有给机器人团队排总榜,因为研究和产品仍“各有所长、百花齐放”。研究前线包括亚马逊前沿AI与机器人研究院、英伟达GEAR及高校;产品侧则有特斯拉、Physical Intelligence、1X,以及改变数据采集想象的Sunday和Generalist,此外也有国内公司。

  • Berkeley的优势是人才和方向密度:Pieter Abbeel创办Covariant,Sergey Levine参与Google Brain、Google Robotics的PaLM-E、RT-1、RT-2,后又联合创办Physical Intelligence;学校在视觉、机器人以及Sky Lab产出的vLLM、SGLang等方向都有积累。

  • 齐浩之形容Berkeley做AI的人“都坐在同一层,就像有一个小型的创业公司”,跨组找视觉或系统合作者只需走几步。合作通常由学生自下而上发起,导师很少阻拦;教授一般可把20%的时间用于校外活动,也可通过on leave或学术休假创业。

  • 最后的分歧主要在时间而非方向。齐浩之认为,可复用算法若能在很短时间内依次学会开可乐、开门、拧螺丝,才是真正的GPT时刻;他说“预测总感觉会被打脸”,但仍给出3—5年。陶一伟则判断硬件产品今年内就可能达到这样的能力水平;“硬件是基石、上限更多由软件和模型释放”是泓君的总结。