Danfei Xu：人类数据，行为克隆，机器人的GPT-3，斯坦福，全栈机器人，EgoMimic，遥操作，UMI
摘要
- 人类数据是机器人最可能的底层燃料：徐丹飞的核心判断不是拿 human data 补一点遥操数据，而是把人直接视为另一种机器人，用第一人称视频、hand pose、VIO 等信息，尽可能恢复 embodied agent 的输入、目标与交互方式。 但他也明确指出，单靠人类视频很难学到机器人产生关节动作和力的最底层控制。其终极愿景是“I want to behavior clone a human”——让机器人不仅会操作物体，还能像人一样行动、交流和互动。
- Behavior cloning 曾被系统性低估。 徐丹飞 2019 年在 DeepMind“亲眼看到 behavior cloning just works”，但当时 RL 是旗舰研究议程，做 BC “not politically correct”；他回到 Stanford 后用三个月从 C++ 控制栈搭到 ResNet-18、spatial softmax 和 RNN，让 Franka 完成约 30 秒的烤箱操作。模型并不 generalize，却给出了关键的“sign of life”：机器人学习的瓶颈往往不是新算法，而是遥操、控制、延迟、相机与数据分布构成的完整系统。
- 规模目标是一亿小时，现状仍差约百倍。 徐丹飞估计 human-level physical intelligence 可能需要 100 million hours；他听说过最大的一天大概有 10 万—20 万小时的数据，即使把市场上的高质量数据集中起来，也可能只有 100 万—200 万小时。机会与风险同时存在：“有几个 lab 在前面疯狂搭铁轨”，资本已经给高速前进的列车加柴，但数据格式、传感器组合和有效分布尚未收敛。
- UMI 是当下甜点位，人形上半身是长期受益者。 UMI 让人拿着会装到机器人上的 gripper 直接操作，牺牲五指灵巧性，换取更高 fidelity、可扩展性和更小的末端 gap；长期看，它会与纯 human data 越来越难区分。徐丹飞不确定双腿是否必要，却明确认为至少需要类人上半身，包括双臂和五指；human data 给 humanoid 以用途，类人硬件又降低 human-to-robot transfer，二者是 hardware lottery 与 data lottery 的共同结果。
- 真正的壁垒更可能在集成闭环，而非某个采集设备。 Project Aria 级别的 VIO/SLAM、快速灵巧手、机械臂 controller、同步和标定都需要工程打磨；数据设备本身则可能 commodity 化，因为 frontier lab 也需要反复教 vendor 什么数据有效。最重要的是“数据—训练—部署—evaluation”闭环，以及团队理解每一段数据如何改变行为的能力。
- 视频可能吞噬多数模态，但无法自动解决控制。 徐丹飞暂时把 video、hand pose、language 排在前列，whole-body pose 与 tactile 居中，audio 和 smell 靠后；腕部 RGB camera 甚至可能替代一部分触觉与遮挡下的状态估计。不过机器人仍必须自己学会怎样产生关节动作与力；在当前把 human data 当作 teleoperation data 的范式下，精细 state estimation 仍然重要。
- 机器人的 GPT-3 moment 不是满分，而是泛化的可用性拐点：徐丹飞给出的定义是，在任何场景下，对任何人能做的事情，机器人能以约 40%—50% 成功率完成。 最大反证包括 simulation 的 scalability 与预期不同、human-to-robot 的第二或第三层 gap 无法 zero-shot 或 few-shot transfer，或非类人本体率先百花齐放；建模上则需要 long context 和一种“new language”，因为自然语言 planning 与精细操作之间仍“离得太远”。
精读
1. 兴趣不是性格点缀，而是徐丹飞选择路径的硬约束
徐丹飞出生于山西太原，六年级至初一搬到上海；初高中便从淘宝买单片机、小车和教程自己折腾。学校对他更多是社交场所和“where I spend most my day”，而不是获得成绩正反馈的地方。
他把自己形容为极端的 interest-driven：喜欢的事会投入“anywhere between fifty percent, hundred percent”，不喜欢则是“zero percent effort”。他并非不能忍受辛苦，而是无法说服自己做当下看不见意义的事。
事后回看，这段经历让他发现自己擅长处理 高不确定、无框架问题。当时当然会慌，只是回归高考轨道的反向推力更大；不断自行解决问题，又让他逐渐相信“很多事情都是可以自己做的”。
2. DIY 申请美国本科，第一次把脱离主流当成优势
高一赴美旅行后，徐丹飞决定换一种生活，“there’s no way to turn back from there”。他从高二一半左右开始减少在校时间，通过 QQ 和古早论坛 CUUS 搜集 ACT、托福与申请信息，不找中介，所有材料和流程自己完成。
何泰然追问脱离高考 track 是否带来压力，徐丹飞的回答很明确：脱离主流反而 exciting。上海上南中学那届申请美国本科的可能只有两三人，但“是不是主流”从来不是他的决策变量。
申请结果并非一路顺利，他先进入 Dickinson College 这类 liberal arts college，却认为选择没有问题：更大的 exploration 空间、更近的教授关系，为后来做科研提供了入口。父母不了解美国教育体系，只负责在他需要考试时提供费用。
3. 二十多个冷电话，换来第一段机器人研究
本科大一时，徐丹飞“对做 research 的渴望达到了一个阈值”，便给二十多家名字里带 robotics 的公司直接打电话，其中包括 Boston Dynamics。最终 SynTouch Robotics 接住了这次冒险：“那你来吧，我们也不给你钱，但你来吧。”
接电话并成为长期朋友的导师 Jeremy Fishel，可能未必完全听懂当时口语尚弱的徐丹飞，却看见了他的 passion 和主动性。徐丹飞对此的总结不是励志口号，而是熟悉的决策测试：“what to lose”。
他在那里用 BioTac tactile sensor 做 Bayesian tactile sensing：传感器同时读取压力、材料导热速度和高频 vibration；它被加热到接近人体表面温度，振动采样约 2,000 Hz，再据此判断接触物体的材料。
那也是他第一次大量接触 Shadow Hand；等许多人后来听说这种灵巧手时，他已经“搞坏了好几个”，一个暑假约弄断七八根手指。他确认了自己的硬件 affinity：“actually sit next to robot and see it move and break it and fix it.”
4. CMU 的无人车项目，让他迷上完整系统而非现成数据集
CMU RISS 首届招募时，一位做自动驾驶的研究者回复说他的背景“可能”合适；徐丹飞没有继续等流程，而是开车约四小时到 Pittsburgh，直接敲开办公室谈了半小时。结局仍是那句熟悉的逻辑：有可能，就 make it happen。
项目是在无 GPS 条件下做 city-wide RGB localization。一辆改装 Jeep 装六个摄像头和六台电脑，他与另一位研究者直接开车绕 Pittsburgh 采图，一周约两天在路上，“we just drove around Pittsburgh”，而非下载数据集后只做算法。
摄像头和多服务器的时间对齐成为关键瓶颈，他曾在实验室蹲一整晚解决 network timeline。尽管 AlexNet 已出现，CMU Robotics Institute 当时仍以 classical robotics 为主；真正令他兴奋的是摄像头、网络、车辆和算法必须一起工作。
5. Stanford 的吸引力，恰恰是那里没有现成答案
申请 PhD 时，徐丹飞在 CMU、U-Dub 和 Stanford 之间犹豫到 4 月 14 日、截止日前一天。Stanford 当时几乎是 robotics 荒漠，但另外几条路线过于确定；他隐约觉得那里“there’s something bigger that I can do”。
他的第一轮 rotation 包括 end-to-end 3D reconstruction；第二轮已开始做 egocentric VR 与 human data capture。他买了 Oculus DK，在上面挂 Leap Motion 捕捉手部——与后来最初的 VR 加 camera prototype 几乎相同。
跟菲菲与 Yuke Zhu 做完 scene graph generation 后，菲菲问他是否继续；徐丹飞回答：“不要，我要做 robotics。”没有硬件和成熟团队并不构成障碍，他反而因能主导一切而兴奋：“I hate other people telling me what to do.”
6. 早期 robot learning 被夹在结构先验与强化学习之间
2016—2017 年左右，机器人学习大致有两股主流：一边把 robotics 当 vision problem，做抓取和单步 pick-and-place；另一边受 AlphaGo 激励，押注 online/offline RL 与 motor babbling。真机上的长时序任务仍很少。
当时的共同偏见是：要么 把 prior 写得足够聪明，用 structure、dynamics 或 neurosymbolic program；要么让机器人从环境里自己学。Supervised learning 被认为“不够好、不够 scalable”，甚至被视为可耻。
徐丹飞最初想做“demonstration in, action out”的 one-shot imitation learning；发现 OpenAI 已做相近方向后，他加入更多结构，形成 Neural Task Programming。这个选择也奠定了他 PhD 前期对 compositional structure 的偏好。
7. 他没有放弃 compositionality，却不再坚持手写结构
徐丹飞后来修正的不是问题，而是方法：compositionality 可以是目标，不必预先写成模型结构。Task and motion planning 的本质，是把无法直接搜索的巨大空间拆成局部空间，再处理这些空间之间的连接。
何泰然的质疑是，这类人为 decomposition 虽带来天然 generalization，也会成为可解决任务的天花板。徐丹飞认为 task and motion planning 在工厂等限定场景下仍可能有用，并提到实际系统可能采用 behavior tree 或有限状态机。
他仍保留 generative task and motion planning 的愿景：当 trajectory plan 可以直接表示成 video，由 deep generative model 在空间中生成计划时，方法才开始“getting there”，接近一个 Bitter Lesson 版本。
8. DeepMind 让他亲眼看见 BC 有效，也看见研究议程如何压住证据
2019 年在 DeepMind 实习时，徐丹飞研究 generative imitation/GAIL，训练 GAIL 时一度花掉了整个实验室大概 10% 的 compute。事后他认为这个 setting 诱人却容易绕远：它假设 demonstration 有限、无 reward，但可以大量与环境交互；真实机器人上恰恰是交互难，示范相对可给。
更重要的观察来自基础设施：团队用 SpaceMouse 遥操 Sawyer，拥有大量高质量数据，也包含失败数据和 reward labeling。只要过滤 less-than-optimal 轨迹，直接做 behavior cloning 就很有竞争力，“I saw with my own eyes behavior cloning just works”。
问题并非没人看见结果，而是 reinforcement learning 是旗舰产品和旗舰研究议程。徐丹飞的表述很尖锐：BC 被“强行压下去”，“it’s not politically correct to do behavior cloning”；这也是当时整个 community 的风气。
他无法从 RL 看见一条通向 cook a meal 等复杂行为的可信扩展路径。既然 BC 已经工作，核心问题便从“为何不用更高级算法”变成“为什么不把遥操、数据和监督学习真正做好”。
9. Franka 项目证明，Behavior Cloning 的难点首先是系统工程
Behavior cloning 的形式很简单：人用 iPhone、VR controller 或其他界面控制机器人，同时记录 camera image 与 control command，把二者作为监督学习的 x 和 y，训练一个直接输出 action 的 policy。
徐丹飞与 J 一拍即合。J 此前参与 Arm Farm，用四五台机器人和 iPhone 收集数据，但团队受 BC shame 影响，更愿意推动理论上可以 work、实践上不太容易 work 的 offline-first learning；两人共同判断“不需要 offline”，转而把 BC 做扎实。
他们只用约三个月，从 C++ 控制栈开始搭建 Franka Panda 的 force-control teleoperation，再一路做到模型。wrist camera、ResNet-18 encoder、spatial softmax、RNN history 都是“why not”式选择，却在完整系统里共同工作。
最醒目的 demo 是约 30 秒、1×速度的长任务：从烤箱拿出盘子、移动物品、关上烤箱，再把盘子放回去。它“一点不 generalize”，但此前很少有人在真机上看到同级行为，因此已是重要的“sign of life”。
10. 一篇有效论文仍需包装 novelty，COVID 又切断了后续实验
即使两位作者相信“BC is going to work”，仍担心单纯证明 BC 有效无法过审，于是在系统上加了一层更容易发表的故事。徐丹飞并未把学术品味缩成“只做能 work 的东西”，但认为 community 必须拆掉 有效方法也被 shame 的条框。
这个项目让他确认：相机安装位置、controller response、camera latency、机器人硬件和数据分布都可能决定成败。“只要你不注意其中一环，你肯定会有问题”，因而强系统不该只按单点算法 novelty 评价。
团队本来准备沿这条线一年做四五篇论文，下一步就是让 DAgger 真正服务 BC；COVID shutdown 却让他们失去机器人 access。论文外部影响很小，很多人的反应只是“Stanford student 用更好的 system 做出来了”。
ALOHA 这条线的工作到 2023 年左右才推动更广泛的范式转变。徐丹飞承认 hindsight 下应继续 push，但当时只有两个人，不知道优先改 model、action space 还是 data；自己又已是博五、博六并开始找教职，无法形成覆盖多假设的大型 research agenda。
11. 三段实习分别告诉他：什么问题无聊，什么组织无法忍受
在 Zoox 的经历让徐丹飞决定不再做 driving。自动驾驶已从他 2013 年喜欢的完整机器人系统，退化为分工明确的 3D vision pipeline：perception、planning、control、simulation 各团队只推自己的单项指标，沟通不再是解决问题的必要条件。
他不认为通用机器人会以同样方式成熟，因为至少在自己相信的路线里，问题无法靠切成孤岛解决：“所有人都需要 know everything。”这也是 full-stack robotics 后来成为其研究文化核心的原因。
DeepMind 从 explorative 研究转向 top-down 管理，则促使他选择教职：创业或 academia 才可能保留“做自己有兴趣事情”的自由。但到 2026 年，他也承认资源密集度改变了答案；若自己没有现有资源，可能会偏向业界，因为有些实验在学界确实无法开展。
12. Robot learning 改变的是方法栈，不是机器人要解决的问题
徐丹飞把 robot learning 定义为：规划、精细操作和 whole-body control 等问题不变，但尽可能把传统 modeling 换成 data-driven learning。例如 whole-body control 从手写 dynamics 加 optimization，转向 reinforcement learning。
传统 manipulation 会显式写 contact 前后不同的 dynamics，甚至形成 mixed-integer program；新范式更关心机器人是否输出正确 action、物体是否到达目标，中间的物理建模可以不再显式存在。
他认为近年最被高估的是 model 与 algorithm 的重要度，最被低估的是硬件、控制、数据与部署组成的 system。Full stack 并非凡事自造，而是知道哪些细节会改变最终 outcome，并对其有足够深的理解。
13. Human data 不是辅助数据，而是对机器人训练范式的重写
当前数据大体可分为：各种机器人上的 teleoperation、物理引擎生成的 synthetic data，以及非机器人真实数据。后者又包括 YouTube 等 unconstrained 数据，以及专门采集的第一或第三人称人类操作数据。
徐丹飞对遥操的怀疑来自一个具体事实：只要略微修改同一机器人的 low-level controller gain，同一控制指令的响应便可能完全不同。既然 robot-to-robot gap 已经很大，human-to-robot gap 未必大到原则上无法跨越。
只要把人的动作转成可用 action、把 perception 转成 policy input，人类轨迹就可能直接作为机器人轨迹。他的关键类比是：“人只是 another robot”，反过来也可以说“robot 只是 another 人”。
这带来整套传感器愿景：“如果你在每个人身上挂足够多的 sensor，其实你可以把一个人变成一个机器人。”但这并不意味着单一视频已经能恢复完整控制；他明确认为，人类视频尤其难以直接教会机器人产生关节动作和力。
14. EgoMimic 的零到一，先花在把人可靠地变成可测量系统
EgoMimic 是徐丹飞任教后的第一个或第二个 project。一位合作者坚信第一人称数据可能最 scalable；徐丹飞担心从硬件开始会把项目拖得很长，两人讨论约一周后仍决定：“let’s just do a system。”
第一版沿用他 2015 年的思路：最初用 Oculus 加 Leap Motion，后来换成 Quest 和 Orion，把头部定位、手部捕捉与视频拉进同一坐标系。问题是 calibration 极不稳定，三个设备之间的 gap 使系统折腾数周仍难以可靠工作。
转折来自 Project Aria：眼镜同时提供第一人称 RGB、头部定位和手部状态估计，恰好覆盖需求。即便如此，团队仍花约 四五个月打通数据采集，Meta 相关团队还为他们设了一个 Project P0，处理所有 support request。
这项工作的重点首先是把第一人称数据采集系统和更接近人类 embodiment 的机器人本体做通；其可扩展性、数据分布和 transfer 仍是后续需要研究的问题。
15. 为了利用类人数据，他先亲手搭出一个更像人的机器人
当时没有现成平台同时具备双臂、类人肩部和躯干关节，以及接近人眼位置的 camera。徐丹飞从 Vention 购买铝制部件，亲自设计、组装一个 双臂加肩部和躯干的实验机器人。
作为 assistant professor，他在不教课时就在实验室“打螺丝”；后来原有 gripper 频繁损坏，他又在家设计并 3D print 一个新夹爪，某天直接拿给学生说“用这个吧”。
项目中后期，他的 conviction 才真正成形：遥操机器人之间本来也存在 controller 与 embodiment gap，只要感知和动作能归一化，人与机器人之间并没有不可逾越的边界。这是系统实践后形成的认识变化。
16. 人类视频能教三层知识，但最底层关节控制仍需机器人自己解决
徐丹飞把 embodied interaction 拆成三层：第一，世界应该怎样改变；第二，本体要在何处、以何种方式与世界交互才能造成改变；第三，本体如何产生关节动作与力，实现所需运动。
人类数据天然包含第一层——拿起杯子、推五厘米等目标与世界变化不因执行者而异。若机器人有接近人的五指手、工作空间和施力能力，第二层也可 transfer，例如抓杯子的哪个部位、从哪里推。
第三层最难直接从视频获得。扔球是代表性例子：机器人需要让每个关节产生足够的力，把球送到特定轨迹；人的肌电信号与电机命令也不存在有意义的一一映射。
因而他把 精细操作与 physical common sense置于语言规划之前。Task planning 相对简单；真正困难的是让机器人通过操作表现出物理常识，这正是 symbolic layer 与 physical layer 之间的巨大距离。
17. 第一人称并非最便宜的数据，却是当前 fidelity 与 scalability 的可行平衡
何泰然的反驳值得保留：YouTube 上第三人称视频最多，人类自己也能看换汽车滤芯或装家具的视频迅速学会，为什么一定强调第一人称？徐丹飞把冲突概括为 fidelity versus scalability。
第三人称数据极易下载，但视角、场景和行为分布与机器人输入差异太大；从整个 YouTube 中找出恰好与机器人 distribution 对齐的片段，再做 normalization，可能只剩极少可用数据。主动采集 egocentric 数据虽贵，却更容易保持一致。
他承认长期来看，精细 state estimation 可能不重要，但那对应另一种范式：人类数据只告诉机器人怎样做这件事情，而机器人已经知道怎样到达每个 state。当前把 human data 当作 teleoperation data 的路线，反而需要更加精细的 state estimation。
18. VIO 与 SLAM 决定人类数据能否获得真正的 action label
当前两种范式的差别在于：一种是人类数据只告诉机器人怎样完成任务，机器人已掌握各个 state 的到达方式；另一种则把人看成一台机器人，将人类数据变成可用于 behavior cloning 的 teleoperation data。后者必须尽量捕捉完整的 action 和状态。
Hand pose estimation 还需要与头部定位放进同一坐标系，才能把手部运动转成世界坐标中的 action。因此，眼镜本身的位置、VIO 和 SLAM 进入核心栈。
他判断亚厘米级 SLAM 的 state of the art 在 Meta、Apple 等 AR/VR 公司。Project Aria 甚至会根据温度在线校准会形变的镜头关系；学界 city-scale pipeline 与其差距“像 VLM 跟 SIFT 比”。不过这仍是 可以靠资金和时间磨出来的工程问题，不是必须等待下一代 GPT 的理论障碍。
19. 触觉很重要，但 force 才是更底层的物理变量
徐丹飞把 tactile 称为第二重要的数据模态，但也不确定腕部 RGB camera 会吞掉多少价值。第一人称相机常被手本身遮挡；手腕摄像头能直接看见手与物体接触，可能以成熟的视觉产业解决大量 occlusion。
他的理论是，agent 本质上是一个 force exertion engine：在世界中的作用，就是施加力并改变世界状态。Tactile 只是对 force 最直接但不完美的 measurement，而非最终目标本身。
力与触觉究竟应放在 input 还是 output，答案是两边都需要：机器人要知道自身受力状态，也要产生和调节施加到世界上的力。困难在于光学、压感、电阻、磁场等传感器表示完全不同，尚无类似 RGB 的标准化量纲。
在被要求从模态中放弃时，他把 video、hand pose、language 放在前面，把 whole-body pose 与 tactile 放在靠后，并把 audio 和 smell 最先放弃；但他同时保留了对 tactile 的不确定性，因为“我们现在不知道怎么用”不等于它不重要。
20. UMI 用降低人手自由度，换取接近机器人的高保真数据
UMI，即 Universal Interface，可理解为把人的手临时换成机器人 gripper。人直接拿着夹爪操作，系统记录其三维 pose 与开合状态；同一个 gripper 随后装到机器人上，末端执行器和碰撞模型的 environment gap 很小。
何泰然形容它是“强行把人类的手退化成夹爪”。代价是失去五指 dexterous manipulation，收益则是 高质量状态估计与直接可部署动作，并且比传统 teleoperation 更容易 scale。
徐丹飞仍把 UMI 算作 human data，因为人直接与环境交互，可以通过 gripper 感受力并精确操控；中间没有 robot controller 把意图再转换一次。本体工作空间的 gap 仍存在，但纯 human video 同样面临这一问题。
在 fidelity 与 scalability 的乘积上，UMI 是当下明显的 sweet spot：它比纯 video 有更直接的动作和状态信息，也比 teleoperation 更容易扩展。
21. UMI 与纯人类数据会逐渐融合，真正瓶颈转向机器人执行器
徐丹飞预计长期的 UMI 与 human data 将难以区分。例如 Generalist 的系统只是在人的手上戴两个 fingertips、再挂一个摄像头；拿掉 fingertip 就成为纯人手数据，保留它则更像 gripper 数据，区别在 fidelity 与 transfer 程度。
从 data 的角度来说，两类数据最终会共享很多东西。越像机器人的人类采集装置，transfer 越直接；越保留原生人手能力，数据越丰富，但最终效果更依赖机器人的手是否具备相似 capability。
很多团队真正没做对的是 低层 controller 与整机集成：机器人手闭合、手臂运动和响应速度需要接近人的执行节奏。徐丹飞认为 Generalist 展示的系统在这一点上做得尤其好，而多数失败被误诊为数据或模型问题。
对五指 transfer，他的设想很具体：一只比 22 自由度 Shadow Hand 稍小、速度更快的灵巧手，配更高性能机械臂并打通底层执行器，有机会达到 UMI 级 transfer。当前卡点更多在机器人硬件链路，而非采集端本身。
22. Human data 与 humanoid 不是替代关系，而是互相赋予价值
徐丹飞不确定双腿是否必要，却认为至少需要 类人上半身：双臂和五指；下半身至少需要具备全向移动能力的 holonomic base。形态越接近人，已有的人类操作数据越容易成为训练资产。
对“hardware lottery 还是 data lottery”的回答是 both。类人环境本身未必要求 humanoid，但有了 human data，humanoid 获得清晰用途；反过来，没有类人本体，human-to-robot transfer 会显著变难。
何泰然追问这会不会把机器人锁在人类性能。徐丹飞援引 null space：更高自由度系统可以降维模仿较低自由度的人，就像 20 自由度手能模拟单夹爪。Human data 提供起点，不要求最终机器人只能具备人的关节结构。
真正可能被忽略的是 human-robot interaction 数据。遥操可以采物体操作，却无法自然产生人与人之间的互动、协作和反应；如果 HRI 也被视为 learning problem，这部分只能从人类交互中获得。
23. “Behavior clone a human”是上限，不是终点后的全部训练方式
在数据、算力和硬件都足够时，徐丹飞给出的 upper bound 是：一个 无法与人区分的 human-like robot，“talk like a human, behave like a human, interact like a human”，不仅会操作物体，也能完成与其他人的互动。
他把愿景压缩成一句：“I want to behavior clone a human。”今天的 LLM 某种意义上也先 behavior clone 了人类语言，随后才通过 supervised fine-tuning 和 reinforcement learning 成为 superhuman coder；机器人甚至还没完成这第一步。
因而 human data 不必永久限制 superhuman embodiment。等机器人跨过类似 GPT-2 到 GPT-3 的基础能力拐点，再用 RL 或其他 fine-tuning 激发超越人类数据的动作与形态，才是更合理的顺序。
24. 一亿小时是目标量级，真正稀缺的是持续上升的效果曲线
徐丹飞估计，达到愿景可能需要约 一亿小时 human data。他听说过最大的一天约 10 万—20 万小时；即便一家资金雄厚的公司汇集市场高质量数据，也可能只得到 100 万—200 万小时，仍差约百倍。
百倍在他看来并非不可跨越，“可以做成”。何泰然随后提到数据传输、存储、management、filtering 等 infrastructure；徐丹飞则警告，human data 尚无 MP4 式统一 representation，连该收哪些模态和传感器都未收敛，盲目扩大规模可能造成浪费。
徐丹飞粗略数过，已有 一百多家公司开始采这类数据。最初他期待 Meta Glass、Ray-Ban Glass 等 AI wearables 在未来五年“无心插柳”地产生第一人称视频；robot learning 热潮却让专门采集提前成为主角。
风险也同样具体：“有几个 lab 在前面疯狂搭铁轨”，资本已经在高速前进的列车里不断“加油加柴”，但数据标准和有效分布仍未确定。
25. 不经意的人类行为更有物理智慧，也更难被正确克隆
徐丹飞强调 incidental human data，因为很多 physical intelligence 不会被写进任务单：用脚开门、用手肘关抽屉、拿起一个东西又不碰倒旁边物体，都来自日常约束下的自然反应。
若数据公司要求采集者只优化 task completion，人会主动减少复杂、丰富的 interaction。理想范式可能介于两端：少量有意任务证明某种能力可行，大量 daily life 提供分布，再像自动驾驶一样做关键数据 filtering。
难题是“behavior clone an agent”需要解释上下文：做菜时突然看表，是因为人不知道时间；机器人若自带时钟，还要不要 clone？颈椎不舒服导致的无意义姿势又该如何过滤？这正是理解行为为何发生的难题。
26. 数据采集设备会商品化，研究—部署闭环才可能形成护城河
徐丹飞判断采集 pipeline 最终更可能 commodity 化。Frontier lab 自己也不完全知道要什么数据，必须不断教供应商采什么；vendor 又会服务其他客户，因此设备、流程和有效分布很难永久封闭。
如果由他设计公司，他会偏好 Tesla 式 vertically integrated、“own everything”的路径；但从产业现实看，更可能形成一个 frontier lab 驱动数家 data vendor 的结构，研究机构定义问题，供应商承担规模化采集。
EgoMimic 相关的开放数据愿景，是用研究者和合作者的 credibility 集中供应商数据，做 quality check，再通过研究证明哪些数据有效，让供应商的数据本身更可信。
何泰然指出了悖论：“你的成功就等于你的失败。”若路线真的需要一亿小时，高度资本化、集团化运作和封闭可能难以避免；最终绑定的未必是某款硬件，而是商业利益——买下数据的人不共享，便会重演自动驾驶的数据壁垒。
27. Human data 论若失败，反证会来自三类基础假设
第一种可能是徐丹飞根本低估了 simulation-based learning 的 scalability：物理引擎与合成数据若能覆盖真实世界，昂贵人类采集就不再是唯一能 scale 的来源。
第二种可能是 human 与 robot 之间第二、第三层 gap 太大，无法做到 zero-shot 或 few-shot transfer。
第三种可能是非类人机器人率先百花齐放，三指、三爪、能力很强或可以无限旋转的机器人，使类人数据越来越难对齐。
28. Full stack 的核心不是全部自研，而是掌握因果闭环
团队可以买硬件、买数据、买工具，但 evaluation 和 training loop 必须掌握在内部：研究者要亲自看 post-training、pre-training、filtering、采集质量与部署结果，理解每类数据怎样改变 policy behavior。
学校里的理想闭环是同一个研究者参与采数据、训练 model、部署和评测。若 vendor 数据成为黑箱，连 synchronization 是否可靠都不知道；规模扩到一亿小时后，这种不可见性会成为极大挑战。
Human data 对建模最明确的 inductive bias 是 long context：若没有足够历史，就无法解释人为什么采取某个 action，只会把行为学成“既可以 A，也可以 B”的宽分布。
System 1 与 System 2 都应从 human data 学，但接口未必是自然语言。徐丹飞认为“we need a new language”，需要从头学出规划与操作共享的 latent space；LLM 生成 language plan 仍离 action 太远。Betty the Crow 首次面对多段工具便能组合解法的能力，机器人目前即使能 RL overfit，zero-shot generalization 仍“太远了”。
29. 研究品味来自理解方向的 gradient，而不是追逐已有 trajectory
徐丹飞的 advising style 在 hands-on 与 hands-off 之间反复横跳；但 lab culture 很明确：care about the whole thing，no work is beneath anyone。机器人模块坏了没人会焊，他会自己进去焊，也希望学生愿意成为 full-stack researcher。
选学生时，他承认自己的 bias 是“不能讨厌硬件”。年轻研究者前期应尽量做完整项目，建立对系统的整体理解，再决定走 open-ended research、解决单一问题，或把产业实践做得更 rigorous。
2026 年读 robotics PhD 在他看来比十年前更难：FOMO 更强，主流之外容易感觉被 left out，业界又“currently has a winner”，留给学生培养独立 taste 的耐心更少；反面是资源与 coding tools 更多，“if you choose correctly, it’s much easier to do something”。
他建议研究年轻人观察好研究者“为什么做，而不是做了什么”，学习的是 gradient，不是 trajectory。其个人愿望只是促成机器人 GPT-3 moment——任意场景下，人能做的事约有 40%—50% 成功率；留给未来的时间胶囊则是：“做自己想做的事情……脱离大部队有时候也没有那么坏的后果。what’s to lose？”