NVIDIA lanzó cuatro modelos de pesos abiertos de su familia Cosmos 3 para crear simulaciones interactivas de conducción y robótica. Los checkpoints están disponibles en Hugging Face con la licencia OpenMDW1.1, que permite el uso comercial y no comercial sujeto a sus términos. Cada uno es una versión de Cosmos 3 Nano con entrenamiento adicional y 16 billion parámetros entrenables.
Los modelos están diseñados para distintas tareas. Cosmos3-Nano-Transfer-Auto crea clips de conducción sin conexión con hasta 11 vistas de cámara y puede generar datos LiDAR correspondientes, un tipo de medición de distancia en 3D. Cosmos3-Nano-Sim-Auto genera observaciones de cámara y LiDAR en fragmentos sucesivos a medida que cambian los controles de conducción. Cosmos3-Nano-Sim-Transfer convierte los controles del simulador en video RGB, mientras que Cosmos3-Nano-Sim-Bimanual predice video a partir de acciones de robots o cámaras en configuraciones de dos brazos.
¿Qué simulan?
Los modelos de conducción usan controles World Scenario Map para describir la estructura de las carreteras y el movimiento del tráfico. Los desarrolladores pueden variar condiciones como el clima, la iluminación y la hora del día, mientras que las imágenes iniciales opcionales ayudan a definir la apariencia de la escena. NVIDIA afirma que Transfer-Auto puede generar video sincronizado a hasta 30 frames por segundo, con clips de hasta 400 frames a 480p o 720p; es posible crear secuencias más largas por fragmentos.
Sim-Auto está pensado para un uso interactivo y continuo: una política de conducción o una persona modifica los controles, y el modelo genera las observaciones siguientes. Ese ciclo cerrado también requiere un entorno de ejecución de simulación y un renderizador para actualizar los controles del escenario. En robótica, Sim-Bimanual admite configuraciones de robots YAM y AgiBot, con controles tanto para la manipulación como para cambiar el punto de vista de la cámara.
Qué necesitan los desarrolladores
Cosmos Framework de NVIDIA ofrece recetas de entrenamiento e inferencia para adaptar los modelos a nuevos sensores, acciones y datos. Según NVIDIA, sus ejemplos pueden ejecutarse con PyTorch o vLLM-Omni en GPU Hopper y Blackwell. Las instrucciones de Hugging Face enumeran Linux, una GPU NVIDIA, Docker y NVIDIA Container Toolkit como requisitos para la configuración de Sim-Bimanual. NVIDIA afirma que esa configuración se probó con una GPU GB200, pero no lo presenta como un requisito mínimo de memoria.
Estos modelos generan observaciones; no sustituyen todos los componentes de un simulador. En Sim-Transfer, por ejemplo, el simulador sigue calculando el movimiento y el estado físico, mientras que el modelo renderiza la vista resultante. NVIDIA señala que los investigadores aún deben medir si los modelos sirven de manera fiable para entrenar y evaluar políticas.
Por qué importa
Para los investigadores de robótica y conducción autónoma, los modelos ofrecen formas de generar observaciones variadas de sensores o probar cómo responde una política ante cambios en los controles. Aun así, necesitan hardware NVIDIA compatible y, para la conducción en ciclo cerrado, un entorno de ejecución de simulación; todavía hay que medir hasta qué punto las escenas generadas sirven para lograr un rendimiento en el mundo real.
