NVIDIA发布了Cosmos 3系列中的四款开放权重模型，用于创建交互式驾驶和机器人仿真。这些检查点已在Hugging Face上发布，采用OpenMDW1.1许可证，按其条款可用于商业和非商业用途。每款模型都是基于Cosmos 3 Nano进行后训练的版本，拥有160亿个可训练参数。
这些模型分别面向不同任务。Cosmos3-Nano-Transfer-Auto可生成最多包含11个摄像头视角的离线驾驶片段，并能生成匹配的LiDAR数据；LiDAR是一种3D距离测量数据。Cosmos3-Nano-Sim-Auto会随着驾驶控制的变化，分段生成连续的摄像头和LiDAR观测数据。Cosmos3-Nano-Sim-Transfer可将仿真器控制转换为RGB视频；Cosmos3-Nano-Sim-Bimanual则根据双臂机器人或摄像头的动作预测视频。
这些模型能仿真什么？
驾驶模型使用World Scenario Map控制项来描述道路结构和交通运动。开发者可以调整天气、光照和一天中的时间等条件，还可以提供可选的初始图像来引导场景外观。NVIDIA称，Transfer-Auto可生成最高30帧/秒的同步视频，片段最长为400帧，分辨率为480p或720p；更长的视频序列可以分段生成。
Sim-Auto面向交互式、持续运行的场景：驾驶策略或用户改变控制项后，模型会生成下一步观测结果。要形成这一闭环，还需要仿真运行时和渲染器来更新场景控制项。对于机器人，Sim-Bimanual支持YAM和AgiBot机器人配置，并提供操控动作和摄像头视角调整控制项。
开发者需要什么
NVIDIA的Cosmos Framework提供训练和推理方案，帮助开发者针对新的传感器、动作和数据调整模型。NVIDIA称，其示例可在Hopper和Blackwell GPU上通过PyTorch或vLLM-Omni运行。Hugging Face上的说明列出了Sim-Bimanual配置所需的Linux、NVIDIA GPU、Docker和NVIDIA Container Toolkit。NVIDIA表示，该配置曾在一块GB200 GPU上进行测试，但这并不代表最低显存要求。
这些模型生成的是观测结果，不能取代仿真器的所有功能。例如，在Sim-Transfer中，仿真器仍负责计算运动和物理状态，模型则负责渲染相应视图。NVIDIA表示，研究人员仍需评估这些模型能否可靠地支持策略训练和评估。
为什么重要
对于机器人和自动驾驶研究人员，这些模型提供了生成多样化传感器观测数据、或测试策略如何响应控制变化的方法。但使用者仍需要兼容的NVIDIA硬件；驾驶闭环仿真还需要仿真运行时。生成场景对现实世界表现的支持效果仍有待评估。
