NVIDIA a lancé quatre modèles à poids ouverts de sa famille Cosmos 3, conçus pour créer des simulations interactives de conduite et de robotique. Les checkpoints sont disponibles sur Hugging Face sous licence OpenMDW1.1, qui autorise les usages commerciaux et non commerciaux, sous réserve de ses conditions. Chacun est une version post-entraînée de Cosmos 3 Nano, avec 16 milliards de paramètres entraînables.
Les modèles répondent à des besoins différents. Cosmos3-Nano-Transfer-Auto crée des séquences de conduite hors ligne avec jusqu’à 11 vues de caméra et peut générer les données LiDAR correspondantes, une forme de mesure de distance en 3D. Cosmos3-Nano-Sim-Auto génère des observations de caméra et de LiDAR par séquences successives, à mesure que les commandes de conduite changent. Cosmos3-Nano-Sim-Transfer convertit les commandes du simulateur en vidéo RGB, tandis que Cosmos3-Nano-Sim-Bimanual prédit des vidéos à partir des actions d’un robot ou d’une caméra dans des configurations à deux bras.
Que simulent-ils ?
Les modèles de conduite utilisent les commandes World Scenario Map pour décrire la configuration de la route et les déplacements du trafic. Les développeurs peuvent faire varier des conditions comme la météo, l’éclairage et l’heure de la journée ; des images de départ facultatives permettent aussi de guider l’apparence de la scène. Selon NVIDIA, Transfer-Auto peut générer une vidéo synchronisée à 30 images par seconde maximum, avec des séquences allant jusqu’à 400 images en 480p ou 720p ; il est possible de créer des séquences plus longues par blocs.
Sim-Auto est conçu pour une utilisation interactive continue : une politique de conduite ou une personne modifie les commandes, et le modèle génère les observations suivantes. Cette boucle fermée nécessite également un environnement d’exécution de simulation et un moteur de rendu pour mettre à jour les commandes du scénario. Pour la robotique, Sim-Bimanual prend en charge les configurations de robots YAM et AgiBot, avec des commandes permettant de manipuler des objets et de modifier le point de vue de la caméra.
Ce dont les développeurs ont besoin
Cosmos Framework de NVIDIA fournit des recettes d’entraînement et d’inférence pour adapter les modèles à de nouveaux capteurs, actions et jeux de données. Selon NVIDIA, ses exemples peuvent fonctionner avec PyTorch ou vLLM-Omni sur des GPU Hopper et Blackwell. Les instructions sur Hugging Face indiquent que la configuration Sim-Bimanual nécessite Linux, un GPU NVIDIA, Docker et NVIDIA Container Toolkit. NVIDIA précise qu’elle a été testée sur un seul GPU GB200, sans pour autant présenter cette configuration comme une mémoire minimale requise.
Ces modèles génèrent des observations ; ils ne remplacent pas toutes les composantes d’un simulateur. Avec Sim-Transfer, par exemple, le simulateur calcule toujours les déplacements et l’état physique, tandis que le modèle restitue la vue correspondante. NVIDIA indique que les chercheurs doivent encore évaluer si les modèles permettent d’entraîner et d’évaluer des politiques de manière fiable.
Pourquoi c'est important
Pour les chercheurs en robotique et en conduite autonome, ces modèles offrent des moyens de générer des observations variées à partir de capteurs ou de tester la réaction d’une politique à des commandes changeantes. Ils nécessitent toutefois du matériel NVIDIA compatible et, pour la conduite en boucle fermée, un environnement d’exécution de simulation. Leur capacité à reproduire des scènes utiles aux performances en conditions réelles reste à évaluer.
