NVIDIA 开源 Cosmos 3 模型,用于流式世界仿真

NVIDIA 发布了 Cosmos 3 系列的四个开放模型。它们生成的正是汽车或机器人传感器应当「看到」的内容:来自多台摄像头的同步视频、LiDAR 数据,以及供控制神经网络使用的画面。其中部分模型以流式方式工作:在仿真推进过程中逐步输出画面,并对智能体的动作做出响应。

四个检查点均由 Cosmos 3 Nano 微调而来,每个拥有 160 亿个可训练参数。它们以 OpenMDW1.1 许可证分发,该许可证在其条款下允许商业和非商业使用。随权重一起,NVIDIA 还公开了技术报告、演示、Cosmos Labs 直播录像以及微调配方。公告于 2026 年 11 月 5 日发布在 Hugging Face 上的 NVIDIA 博客。

四个模型对应四项任务

• Cosmos3-Nano-Transfer-Auto 以离线方式生成驾驶数据。该模型最多可输出 11 台摄像头的同步视频,其中包括鱼眼镜头,并能在生成彩色画面的同时生成 LiDAR 数据。所有摄像头的视角彼此同步。
• Cosmos3-Nano-Sim-Auto 是 Transfer-Auto 的流式版本。它经过蒸馏,使得后续每个片段只依赖已经生成的片段。它只用几步去噪即可生成摄像头画面和 LiDAR,因此适合交互式仿真:车辆动作,场景随之响应。
• Cosmos3-Nano-Sim-Transfer 从仿真器获取空间控制信号(深度、分割、轮廓、模糊的场景布局),并结合文本提示将其转换为照片级真实的彩色视频。该视频随后作为输入送入机器人或汽车的控制模型。
• Cosmos3-Nano-Sim-Bimanual 可交互式地模拟双臂机器人 YAM 和 AgiBot。控制它们的可以是训练好的策略,也可以是使用操纵杆的真人操作员。在混合动作的示例中,输入为 59 个控制数值,训练时会补齐到 64 个。

对于为仿真搭建场景的技术美术而言,最值得关注的是 Sim-Transfer。物理、接触和场景状态仍由仿真器计算,而画面的外观由文本提示决定。在这种方案下,用材质和灯光对环境进行视觉打磨的部分工作,可能可以交给模型完成。

模型的结构以及运行所需条件

Cosmos 3 的基础是 Mixture-of-Transformers 架构:文本处理和图像生成由两个独立网络负责,通过注意力机制相连。在起始图像之后,模型内部表示中的每一步对应四个 RGB 帧。流式版本的训练分四个阶段:先让模型适应双向生成,再教它续接序列,然后进行蒸馏,最后用自身的生成结果做微调。在蒸馏阶段,学生模型用四步去噪生成每个视频片段。配方从 Cosmos3-Nano 权重或兼容的基础权重开始,覆盖全部四个阶段,因此可以把模型适配到自己的摄像头组合或自己的机器人上。

运行需要 Linux、NVIDIA 显卡、Docker 和 NVIDIA Container Toolkit。推理说明和现成的 notebook 位于 cosmos-framework 仓库:包括 Transfer-Auto、Sim-Auto 和 Sim-Transfer,而针对 Sim-Bimanual 则给出了用于微调的数据格式说明。NVIDIA 未给出显存的最低要求。已公开的 Sim-Bimanual 配置是在一块 GB200 服务器加速卡上验证的,公司明确说明这并非最低规格。在工作站上多少显存足够,资料中没有提及。

NVIDIA 自己把这次发布定位为面向研究人员和开发者的共同起点:

「接下来的工作是衡量这些模型在哪些方面能够可靠地支撑策略的训练与评估,理解它们的局限,并在不足之处加以改进。」

公告中就是这样表述 Cosmos 团队的下一步计划。公告没有给出流式版本在质量和速度方面的数据;该系列架构的细节载于 Cosmos 3 技术报告。

它处在什么位置

Cosmos 3 于 2026 年 5 月发布,7 月 NVIDIA 又推出了 40 亿参数的轻量版 Cosmos3-Edge,可直接在设备上运行:Jetson AGX Orin、Thor 和 RTX Pro 6000。在 NVIDIA 的自动驾驶流程中,真实路测会先通过基于高斯库的 Omniverse NuRec 重建为 3D。随后 Cosmos 和 Cosmos-Dreams 模型生成不同天气、不同光照和罕见情形下的场景变体,验证则在开放仿真器 AlpaSim 中以闭环方式进行。据 NVIDIA 介绍,Oxa、Plus 和 Uber 正在使用 Cosmos 模型合成驾驶数据。

从此次发布的构成看,NVIDIA 正在把生成模型从离线数据集生成器的角色,推向更接近仿真器本身的角色:Sim-Auto 和 Sim-Bimanual 可交互式地响应动作,Sim-Transfer 则可以承担照片级真实的画面。对于为训练机器人和自动驾驶搭建场景的人来说,这有可能降低对环境视觉打磨的要求,但也增加了对 NVIDIA 硬件的依赖,以及生成画面在物理上有多准确的问题。公司自己也把对此的评估称为后续工作。对于机器人和汽车行业之外的美术师,实际价值大概不多:这些模型是围绕传感器、多摄像头装置和机器人控制信号设计的。

NVIDIA 为何开放 Cosmos 3 供商业使用:推广自家硬件、争夺仿真标准,还是真实数据不足?