李飞飞 World Labs 发布 Atlas:号称全球首个多模态世界模型
· 来源:World Labs
像素级相机控制、1-100+ 张图重建 3D、1 分钟 1440p 可控长视频——Atlas 把'世界模型'从生成视频升级为建模、移动相机、模拟时空。
李飞飞的 World Labs 于 9 月 1 日发布新一代世界模型 Atlas,官方称之为全球首个多模态世界模型:建模世界、移动相机、模拟空间和时间。
架构上,Atlas 是一个多模态自回归扩散 transformer(multimodal autoregressive diffusion transformer),从零预训练,原生同时处理文本、图像、视频与 3D。它与 LLM 的关键区别在于空间上下文:每张输入图像都被锚定在空间中的 3D 位置上,所有输入汇入一个共享的 spatial context,模型据此自回归地生成接下来是什么——保持与所见一切 3D 一致,同时想象视野之外的部分。
官方列出了四类能力:
1) 相机控制生成:把精确相机几何当作原生输入(而非文字指令),支持像素级构图与运镜;从 1-6 张参考图生成最长 1 分钟、1440p 的长视频,你坐在导演椅上搭场景,而不是拉老虎机;
2) 空间重建:1 张到 100+ 张输入图重建真实场景,同时输出新视角图像帧与显式 3D,超过专门做 3D 重建的 SOTA 模型——它看到得越多,就想象得越少;
3) 时空模拟:从输入视频建模空间与时间,支持视频重构与面向机器人的 Real-to-Sim 工作流;
4) 图像生成:文本生成图像与 360 度全景,可渲染文字、遵循复杂提示词。
World Labs 称 Atlas 随训练算力提升而变强,将驱动未来版 Marble 及其他产品,现已开放 early access 申请。
背景:World Labs 2024 年 2 月成立,已融资 12 亿美元(NVIDIA、AMD、Autodesk 参投)。李飞飞的核心论点一直是空间智能——AI 要理解物理世界,必须原生推理 3D 物体、人与环境及其空间后果。Atlas 的发布被外界视为这一路线迄今最完整的落地:不再只是生成一段可互动的视频,而是把 3D 一致性、相机几何与时间模拟统一进一个模型。(Hacker News 已有讨论)