英伟达开源Cosmos 3四款交互仿真检查点:驾驶多传感器与双臂机器人可用
· 来源:Hugging Face / NVIDIA
基于Cosmos 3 Nano的四个16B开源权重上线Hugging Face,覆盖多视角驾驶合成数据、流式相机+LiDAR、仿真器控件转视频与双臂动作预测。
英伟达于2026年11月5日通过Hugging Face博客宣布,在Cosmos 3世界模型家族中新增四个面向交互式世界仿真的开源检查点。四者均为Cosmos 3 Nano的后训练示例,可训练参数约160亿,采用OpenMDW 1.1许可,允许在其条款下商用与非商用。
具体包括:Cosmos3-Nano-Transfer-Auto,可离线生成最多约11路相机(含鱼眼)同步视频,并支持联合RGB–LiDAR与天气/光照/时段变化;Cosmos3-Nano-Sim-Auto为经因果蒸馏的流式版本,按块生成同步相机与LiDAR观测,便于闭环长时推演;Cosmos3-Nano-Sim-Transfer把物理仿真器的深度/分割/边缘等空间控件与文本提示渲染成逼真RGB;Cosmos3-Nano-Sim-Bimanual则根据双臂机器人或相机动作预测下一帧观测,支持YAM与AgiBot等本体。
技术上依托Cosmos 3的Mixture-of-Transformers骨干,经双向适配、教师强制、一致性蒸馏与自强制等四阶段训练,以降低误差累积并加速流式生成。英伟达同时开放后训练配方,便于研究团队按自有传感器布局、驾驶域或机器人本体继续微调,把世界模型从演示推进到可下载、可复现的仿真基础设施。