# NVIDIA brengt vier Cosmos 3-simulatiemodellen uit

> De modellen met open gewichten genereren video voor rij- en robotsimulaties, inclusief gesynchroniseerde camerabeelden en LiDAR-data. Ze vereisen NVIDIA-hardware en aanvullende tools.

Oossa · 2026-11-05 · https://oossa.com/nl/nvidia-releases-four-cosmos-3-simulation-models

NVIDIA heeft vier modellen met open gewichten uitgebracht binnen de Cosmos 3-familie, bedoeld voor interactieve rij- en robotsimulaties. De checkpoints zijn beschikbaar op Hugging Face onder de OpenMDW1.1-licentie, die commercieel en niet-commercieel gebruik toestaat onder de voorwaarden ervan. Elk model is een versie van Cosmos 3 Nano die verder is getraind en 16 miljard trainbare parameters heeft.

De modellen zijn bedoeld voor verschillende taken. Cosmos3-Nano-Transfer-Auto maakt offline rijclips met maximaal 11 camerabeelden en kan bijpassende LiDAR-data genereren, een vorm van 3D-afstandsmeting. Cosmos3-Nano-Sim-Auto genereert camerabeelden en LiDAR-waarnemingen in opeenvolgende segmenten terwijl de rijbesturing verandert. Cosmos3-Nano-Sim-Transfer zet simulatorbesturing om in RGB-video, terwijl Cosmos3-Nano-Sim-Bimanual video voorspelt op basis van robot- of camerabewegingen voor opstellingen met twee armen.

## Wat kunnen de modellen simuleren?

De rijmodellen gebruiken World Scenario Map-besturing om de wegenstructuur en het verkeersverloop te beschrijven. Ontwikkelaars kunnen omstandigheden als het weer, de belichting en het tijdstip aanpassen. Optionele startafbeeldingen kunnen helpen het uiterlijk van de scène te sturen. Volgens NVIDIA kan Transfer-Auto gesynchroniseerde video genereren met maximaal 30 frames per seconde, in clips van maximaal 400 frames op 480p of 720p. Langere reeksen kunnen in segmenten worden gemaakt.

Sim-Auto is ontworpen voor interactief, doorlopend gebruik: een rijbeleid of een persoon past de besturing aan, waarna het model de volgende waarnemingen genereert. Voor deze terugkoppellus zijn ook een simulatorruntime en een renderer nodig om de scenariobesturing bij te werken. Voor robotica ondersteunt Sim-Bimanual YAM- en AgiBot-robotopstellingen, met besturing voor zowel manipulatie als het aanpassen van het camerastandpunt.

## Wat hebben ontwikkelaars nodig?

NVIDIA’s Cosmos Framework biedt recepten voor training en inferentie om modellen aan nieuwe sensoren, acties en data aan te passen. Volgens NVIDIA kunnen de voorbeelden draaien met PyTorch of vLLM-Omni op Hopper- en Blackwell-GPU’s. De instructies op Hugging Face noemen Linux, een NVIDIA-GPU, Docker en NVIDIA Container Toolkit als vereisten voor de Sim-Bimanual-opstelling. NVIDIA zegt die opstelling op één GB200 GPU te hebben getest, maar noemt dat niet als minimale geheugeneis.

Deze modellen genereren waarnemingen; ze vervangen niet alle onderdelen van een simulator. Bij Sim-Transfer berekent de simulator bijvoorbeeld nog steeds de beweging en de fysieke toestand, terwijl het model het resulterende beeld rendert. Volgens NVIDIA moeten onderzoekers nog vaststellen of de modellen betrouwbaar genoeg zijn voor het trainen en evalueren van rijbeleidsmodellen.

## De feiten

- Alle vier Cosmos 3 Nano-checkpoints hebben 16 miljard trainbare parameters.
- Transfer-Auto ondersteunt maximaal 11 camerabeelden en het gezamenlijk genereren van RGB- en LiDAR-data.
- Volgens NVIDIA ondersteunt Transfer-Auto clips van maximaal 400 frames op 480p of 720p.
- De Sim-Bimanual-opstelling is getest op één GB200 GPU; NVIDIA noemt dit niet als minimumvereiste.

## Waarom het ertoe doet

Voor onderzoekers op het gebied van robotica en zelfrijdende auto’s bieden de modellen manieren om uiteenlopende sensorwaarnemingen te genereren of te testen hoe een rijbeleid reageert op veranderende besturing. Ze hebben nog steeds compatibele NVIDIA-hardware nodig en, voor rijden met een terugkoppellus, een simulatorruntime. Hoe goed de gegenereerde scènes bijdragen aan prestaties in de praktijk, moet nog worden onderzocht.

## Bronnen en referenties

1. [New NVIDIA Cosmos 3 Open Models for Interactive World Simulation on Hugging Face](https://huggingface.co/blog/nvidia/cosmos-interactive-world-simulation) – Hugging Face, 2026-11-05
2. [NVIDIA](https://developer.nvidia.com/blog/build-world-models-for-interactive-simulation-with-nvidia-cosmos/) – NVIDIA

Laatst bijgewerkt: 2026-11-05