NVIDIA выпустила четыре модели с открытыми весами из семейства Cosmos 3 для создания интерактивных симуляций вождения и робототехники. Контрольные точки доступны на Hugging Face по лицензии OpenMDW1.1, которая допускает коммерческое и некоммерческое использование на указанных в ней условиях. Все модели дообучены на основе Cosmos 3 Nano и содержат 16 миллиардов обучаемых параметров.
Модели предназначены для разных задач. Cosmos3-Nano-Transfer-Auto создает видеоролики о вождении в офлайн-режиме с изображением максимум с 11 камер и может генерировать соответствующие данные LiDAR — разновидности 3D-измерения расстояния. Cosmos3-Nano-Sim-Auto создает последовательные фрагменты наблюдений с камер и LiDAR по мере изменения управляющих команд автомобиля. Cosmos3-Nano-Sim-Transfer преобразует команды симулятора в RGB-видео, а Cosmos3-Nano-Sim-Bimanual предсказывает видео по действиям робота или камеры для систем с двумя манипуляторами.
Что моделируют эти системы?
В моделях для вождения используются команды World Scenario Map, описывающие дорожную структуру и движение транспорта. Разработчики могут менять такие условия, как погода, освещение и время суток; при желании внешний вид сцены можно задать с помощью исходных изображений. По данным NVIDIA, Transfer-Auto генерирует синхронизированное видео со скоростью до 30 кадров в секунду. Длина роликов может достигать 400 кадров при разрешении 480p или 720p; более длинные последовательности можно создавать фрагментами.
Sim-Auto рассчитана на интерактивную непрерывную работу: алгоритм управления автомобилем или человек меняет команды, а модель генерирует следующие наблюдения. Для такого замкнутого цикла также нужны среда выполнения симуляции и визуализатор, обновляющие параметры сценария. В робототехнике Sim-Bimanual поддерживает конфигурации роботов YAM и AgiBot, а также команды для манипуляций и изменения ракурса камеры.
Что понадобится разработчикам
В NVIDIA Cosmos Framework есть инструкции и рецепты для обучения и инференса, позволяющие адаптировать модели к новым датчикам, действиям и данным. По данным NVIDIA, примеры можно запускать на графических процессорах Hopper и Blackwell с помощью PyTorch или vLLM-Omni. В инструкциях на Hugging Face для настройки Sim-Bimanual указаны Linux, графический процессор NVIDIA, Docker и NVIDIA Container Toolkit. NVIDIA сообщает, что тестировала эту конфигурацию на одном графическом процессоре GB200, но не заявляет, что это минимально необходимая конфигурация.
Эти модели генерируют наблюдения, но не заменяют все компоненты симулятора. Например, в Sim-Transfer симулятор по-прежнему рассчитывает движение и физическое состояние, а модель визуализирует полученную сцену. По словам NVIDIA, исследователям еще предстоит проверить, насколько надежно модели подходят для обучения и оценки алгоритмов управления.
Почему это важно
Для исследователей в области робототехники и беспилотного вождения эти модели позволяют генерировать разнообразные данные с датчиков и проверять реакцию алгоритмов управления на изменение команд. Для работы по-прежнему нужны совместимое оборудование NVIDIA, а для замкнутого цикла вождения — среда выполнения симуляции. Насколько хорошо сгенерированные сцены помогают добиться результатов в реальных условиях, еще предстоит выяснить.
