# NVIDIA lance quatre modèles Cosmos 3 pour la simulation

> Ces modèles à poids ouverts génèrent des vidéos de simulation pour la conduite et la robotique, avec des données synchronisées de caméra et de LiDAR. Ils nécessitent du matériel NVIDIA et des outils compatibles.

Oossa · 2026-11-05 · https://oossa.com/fr/nvidia-releases-four-cosmos-3-simulation-models

NVIDIA a lancé quatre modèles à poids ouverts de sa famille Cosmos 3, conçus pour créer des simulations interactives de conduite et de robotique. Les checkpoints sont disponibles sur Hugging Face sous licence OpenMDW1.1, qui autorise les usages commerciaux et non commerciaux, sous réserve de ses conditions. Chacun est une version post-entraînée de Cosmos 3 Nano, avec 16 milliards de paramètres entraînables.

Les modèles répondent à des besoins différents. Cosmos3-Nano-Transfer-Auto crée des séquences de conduite hors ligne avec jusqu’à 11 vues de caméra et peut générer les données LiDAR correspondantes, une forme de mesure de distance en 3D. Cosmos3-Nano-Sim-Auto génère des observations de caméra et de LiDAR par séquences successives, à mesure que les commandes de conduite changent. Cosmos3-Nano-Sim-Transfer convertit les commandes du simulateur en vidéo RGB, tandis que Cosmos3-Nano-Sim-Bimanual prédit des vidéos à partir des actions d’un robot ou d’une caméra dans des configurations à deux bras.

## Que simulent-ils ?

Les modèles de conduite utilisent les commandes World Scenario Map pour décrire la configuration de la route et les déplacements du trafic. Les développeurs peuvent faire varier des conditions comme la météo, l’éclairage et l’heure de la journée ; des images de départ facultatives permettent aussi de guider l’apparence de la scène. Selon NVIDIA, Transfer-Auto peut générer une vidéo synchronisée à 30 images par seconde maximum, avec des séquences allant jusqu’à 400 images en 480p ou 720p ; il est possible de créer des séquences plus longues par blocs.

Sim-Auto est conçu pour une utilisation interactive continue : une politique de conduite ou une personne modifie les commandes, et le modèle génère les observations suivantes. Cette boucle fermée nécessite également un environnement d’exécution de simulation et un moteur de rendu pour mettre à jour les commandes du scénario. Pour la robotique, Sim-Bimanual prend en charge les configurations de robots YAM et AgiBot, avec des commandes permettant de manipuler des objets et de modifier le point de vue de la caméra.

## Ce dont les développeurs ont besoin

Cosmos Framework de NVIDIA fournit des recettes d’entraînement et d’inférence pour adapter les modèles à de nouveaux capteurs, actions et jeux de données. Selon NVIDIA, ses exemples peuvent fonctionner avec PyTorch ou vLLM-Omni sur des GPU Hopper et Blackwell. Les instructions sur Hugging Face indiquent que la configuration Sim-Bimanual nécessite Linux, un GPU NVIDIA, Docker et NVIDIA Container Toolkit. NVIDIA précise qu’elle a été testée sur un seul GPU GB200, sans pour autant présenter cette configuration comme une mémoire minimale requise.

Ces modèles génèrent des observations ; ils ne remplacent pas toutes les composantes d’un simulateur. Avec Sim-Transfer, par exemple, le simulateur calcule toujours les déplacements et l’état physique, tandis que le modèle restitue la vue correspondante. NVIDIA indique que les chercheurs doivent encore évaluer si les modèles permettent d’entraîner et d’évaluer des politiques de manière fiable.

## Les faits

- Les quatre checkpoints Cosmos 3 Nano comptent 16 milliards de paramètres entraînables.
- Transfer-Auto prend en charge jusqu’à 11 vues de caméra et la génération conjointe de données RGB et LiDAR.
- Selon NVIDIA, Transfer-Auto prend en charge des séquences allant jusqu’à 400 images en 480p ou 720p.
- La configuration Sim-Bimanual a été testée sur un seul GPU GB200 ; NVIDIA ne présente pas ce chiffre comme une exigence minimale.

## Pourquoi c'est important

Pour les chercheurs en robotique et en conduite autonome, ces modèles offrent des moyens de générer des observations variées à partir de capteurs ou de tester la réaction d’une politique à des commandes changeantes. Ils nécessitent toutefois du matériel NVIDIA compatible et, pour la conduite en boucle fermée, un environnement d’exécution de simulation. Leur capacité à reproduire des scènes utiles aux performances en conditions réelles reste à évaluer.

## Sources et références

1. [New NVIDIA Cosmos 3 Open Models for Interactive World Simulation on Hugging Face](https://huggingface.co/blog/nvidia/cosmos-interactive-world-simulation) – Hugging Face, 2026-11-05
2. [NVIDIA](https://developer.nvidia.com/blog/build-world-models-for-interactive-simulation-with-nvidia-cosmos/) – NVIDIA

Dernière mise à jour: 2026-11-05