Fei-Fei Li 如何重建面向真实世界的 AI

摘要

• World Labs 的核心押注是：语言是强大的思想编码方式，却是有损且不足以表达物理现实的编码方式，因此空间智能仍是基础模型的前沿。 Fei-Fei Li 称语言是“捕捉世界的一种有损方式”；世界模型必须理解3D结构、形状和组合性，让机器能够行动，而不只是描述。

• Martin Casado 认为，真正令人意外的是发展顺序：语言几乎立刻实现了“单位经济为正”，而自主导航在20年间吞噬了约1000亿美元。 LLM 并没有解决空间问题，但生成式 AI 的成功为攻克这一更早、也更困难的底层问题提供了线索。

• 这套平台试图从一个或多个2D视角重建完整的3D场景，包括摄像头看不见的几何结构。 一旦模型能够补全“桌子的背面”，软件就能测量、移动、堆叠和操控物体，从而服务于建筑、设计、机器人、游戏及其他横向市场。

• 深度信息是操作数据，而非视觉装饰，因为物理规律和人机交互都发生在3D空间。 在短暂失去立体视觉后，Li 无法高速驶上高速公路；在本地道路上，她只能以接近每小时10英里的速度行驶，因为无法可靠判断自己的车与路边停放车辆之间的距离。

• World Labs 将场景重建与生成结合起来，打开具身机器和合成环境的应用空间。 Li 更宏大的判断是，AI 可以创造“无限宇宙”（“infinite universes”）——用于机器人、创意、社交、旅行和叙事——并“让我们生活在多元宇宙中”。

• 执行层面的核心，在于将 AI、计算机视觉、图形学、优化、数据和成熟的3D技术集中到一支团队中。 技术组成包括 NeRF、Gaussian splatting、GAN 时代的图像生成和风格迁移；公司层面的突破，则是把“算力、数据、人才”聚集起来，将一个北极星问题产品化。

精读

上游暂未提供，后续同步将继续补齐。