视频生成与世界模型

10月24日

42章经 少有的同时做过 Agent、多模态和具身的人 | 对谈前混元多模态 RL Infra 负责人淏楠

• 王淏楠 视频生成仍更依赖预训练、数据与资本，淏楠所在团队没有等到预想中的“R1 时刻”。 年初认为 RL 能带来高效跃迁，做了半年后改变判断；他限定，问题是后训练的 scaling 不够 efficient，并非堆数据不能提升。他认为约十名有经验的工程师、两个月能把 infrastructure 推到合理水平，难复制的是数据积累与产品回流。
• 实时视频尚未成熟，具身也未必要等完整世界仿真。 提速容易破坏一致性，而提升质量又往往需要更大、更慢的模型，淏楠无法预测真正实时互动的节点。他更认同先理解当前环境、行动一步、再更新理解：“你没有必要先理解整个世界，再去做一件事。”

10月13日

Latent Space 机器人领域的苦涩教训：为何规模化取胜 — Jason Ma，Dyna Robotics

• Vibhu Jason称，技术路线押注于Dyna-2：这是首个以超过100万小时数据训练的“世界动作模型”。 它预测未来的视频或未来世界的表征，并以此引导动作。Jason将其比作“思维链”：模型在视觉和物理空间中推理，再输出动作。底层采用结合流匹配的扩散Transformer。Vibhu称，动作空间约有100维；模型每秒10–20次预测一个至少50维的向量。
• Vibhu指出，纯视觉世界模型可能存在模态缺失的问题。 他认为，视觉加触觉、数据效率高出100倍的模型可能是另一种方案，因为触觉信息可能比高度冗余的像素更密集。他还称，机器人公司可能比视频生成公司更适合增加感知模态。硬件同样是瓶颈：灵巧手可能很快过热。

10月2日

Moonshots AI 领袖为何改变 AI 安全观、Elon 谈 UHI、Anthropic IPO

• Moonshots AMD 以82亿美元收购 World Labs，要么是切入物理 AI 的战略桥梁，要么就是昂贵的人才收购，且其逻辑还需要更多交易来补足。 World Labs 的 Atlas 能从单张图片生成可导航的3D世界，潜在用途包括机器人、工厂仿真、游戏，以及未来“每个像素都能生成”的场景。Salim 认为，这有望压低整个实体经济的试验成本；Alex 则认为单独看这笔交易说不通，并预测 AMD 会进行更大规模的软件和模型并购 …

10月1日

高能量 Vol.236 宏观漫谈111｜中美元首会谈、AI发展边界与全球资金的“蓄水池”逻辑

• 高能量 今天的大语言模型未必能沿同一条延长线成为所有AI的统一基座。 李丰认为，世界模型、物理模型至少需要“跨半个道”，补入不同架构、物理、数学和可解释计算；今年二季度以来，具身智能投资共识也开始从VLA、VLM、VLTA等“经过L”的路线，偏向减少语言中介的VM或无L路线，因为语言本身是降维表达，必然丢失信息。

9月27日

The Cognitive Revolution AI:AM：如果它好过头了？串通智能体、2亿美元安全组织，以及在2%处饱和的虚拟细胞

• Prakash Narayanan 物理AI押注规模化的脏数据；生物学则押注相反方向。 Archetype 的 Newton 正接近「10亿小时物理AI数据」，并将传感器 NaN 在很多情况下视为「机器本身的一个特征」，帮助解释即将发生的故障；但由于互联网上不存在雷达—文字描述数据，它必须自行建立传感器与语言之间的对齐。Vivodyne 的 Andre …

9月25日

Latent Space Runway押注视频之外：世界模型、机器人与神经操作系统——Anastasis Germanidis

• Anastasis Germanidis Anastasis Germanidis认为，没有证据表明世界模型需要绕道采用JEPA式架构。 他对Yann LeCun“理解世界的运行规律，与生成可爱视频截然不同”的说法回应得很直接：“它们是同一件事。”他指出，在Physics IQ基准中，固体力学、流体动力学和光学得分会随着模型规模和算力扩大而“可预测地提升”，但也提醒，视频模型可能作弊，当前表现很容易被过度解读。
• Germanidis认为，实时生成不是可选项，而是必然趋势：“如果2年后我们还不是主要使用实时模型，我会非常惊讶。” Runway的characters模型是一个以24 FPS运行、经过步数蒸馏的自回归头像模型；在他看来，这是“实时视频模型最大规模的部署”。扩散模型提供两条蒸馏路径：缩小模型，或将推理步数从50步降到4步，让许多场景下的前沿模型也达到实时表现。更低的服务成本叠加更好的用户体验，使 …
• Latent Space 本期最具扩张性的判断是：界面世界模型会把软件渲染为生成像素——“这里没有HTML、CSS、React……为什么要生成用于生成像素的代码？ 直接生成像素就好。” 终局是“完全神经化的操作系统”；同一类模型还可以充当合成数据生成器和计算机使用Agent的实时RL环境，让这项技术突破创意工具的边界。
• Runway“意外地仅靠扩大视频模型规模，就造出了机器人领域的SOTA模型”，而其数据论也颇具分量：第三人称视频的数量比第一人称数据多3个数量级。 基于Gen 4.5构建的GWM-1，仅使用数百小时机器人微调数据，而机器人预训练通常需要数十万至数百万小时。Runway称，在RoboArena上，真实世界与仿真结果的相关性非常好，这意味着策略评估可以在仿真中扩展，而不必依赖硬件。
• 2024年2月的Sora时刻让Runway在“Runway完了”的喧嚣中经历了“数小时的存在主义危机”。 随后公司用3个月把模型规模和训练算力扩大10倍，从零开始建立模型并行能力，并在当年夏天推出Gen-3。这段韧性故事，加上最初在Series B阶段决定建设1,000张A100集群的“略显不理性”押注，构成了同一套模式：在证据出现之前下注，然后快速适应。
• Anastasis Germanidis 谈到竞争格局，Germanidis承认西方在视频领域落后：“排行榜前10名、前20名里，大多数模型都是中国模型。” 他与NVIDIA共同发起Cosmos Coalition，希望通过开放权重、物理基准和基础设施，把世界模型研究带入开放生态。他质疑长期依赖中国模型蒸馏的策略，认为这可能锁定性能上限；Runway则认为，不靠蒸馏也能训练出强模型。

9月21日

Machine Learning Street Talk 为什么情报中的信息有其代价——Alexander Mattick

• Alexander Mattick 在 Mattick 的叙述中，世界模型和 JEPA 更像宽泛的品牌，而不是边界清晰的技术突破。 “世界模型”可以指传感器预测器、视频扩散模型、潜在动力学模型或基于模型的 RL 组件；他提出的边界在于，数据采集是否仍然处于学习闭环之内。商业检验发生在部署阶段：一个90%成功率的机器人可以做出很有说服力的演示，但 BMW 这样的工厂买家需要可重复性、逐状态的最低可靠性，以及远低 …

9月20日

十字路口Crossing “我看到了 Scaling Law 的信号” | 对谈清华叉院助理教授徐梦迪：具身智能、世界模型、真正的泛化

• 徐梦迪 路线之争中他明确更相信世界模型，理由是任务难以通过穷举实现 scalable。 “任务实在是太多了，你很难通过穷举的方式；但如果能通过世界模型学到这个世界变化的规律，它是更 fundamental 的一种能力。”关注名单：美国的 Physical Intelligence、Google、英伟达、Generalist、Roda（音）；国内点名林波新发的 …