# NVIDIA veröffentlicht vier Cosmos-3-Simulationsmodelle

> Die Checkpoints mit offenen Gewichten erzeugen Videos für Fahr- und Robotersimulationen, darunter synchronisierte Kamera- und LiDAR-Daten. Sie benötigen NVIDIA-Hardware und unterstützende Tools.

Oossa · 2026-11-05 · https://oossa.com/de/nvidia-releases-four-cosmos-3-simulation-models

NVIDIA hat vier Modelle mit offenen Gewichten aus der Cosmos-3-Familie zur Erstellung interaktiver Fahr- und Robotiksimulationen veröffentlicht. Die Checkpoints sind auf Hugging Face unter der Lizenz OpenMDW1.1 verfügbar, die vorbehaltlich ihrer Bedingungen eine kommerzielle und nicht kommerzielle Nutzung erlaubt. Bei allen handelt es sich um nachtrainierte Versionen von Cosmos 3 Nano mit 16 Milliarden trainierbaren Parametern.

Die Modelle sind für unterschiedliche Aufgaben gedacht. Cosmos3-Nano-Transfer-Auto erstellt Offline-Fahrclips mit bis zu 11 Kameraperspektiven und kann dazu passende LiDAR-Daten erzeugen – eine Form der dreidimensionalen Entfernungsmessung. Cosmos3-Nano-Sim-Auto generiert Kamera- und LiDAR-Beobachtungen in aufeinanderfolgenden Abschnitten, während sich die Fahrsteuerung ändert. Cosmos3-Nano-Sim-Transfer wandelt Simulatorsteuerungen in RGB-Videos um, während Cosmos3-Nano-Sim-Bimanual Videos anhand von Roboter- oder Kamerabewegungen für Systeme mit zwei Armen vorhersagt.

## Was simulieren die Modelle?

Die Fahrmodelle nutzen Steuerungsangaben aus World Scenario Map, um Straßenverläufe und Verkehrsbewegungen zu beschreiben. Entwickler können Bedingungen wie Wetter, Beleuchtung und Tageszeit variieren; optionale Startbilder helfen dabei, das Aussehen der Szene vorzugeben. NVIDIA zufolge kann Transfer-Auto synchronisierte Videos mit bis zu 30 Bildern pro Sekunde erzeugen. Die Clips können bei 480p oder 720p bis zu 400 Bilder umfassen; längere Sequenzen lassen sich abschnittsweise erstellen.

Sim-Auto ist für den interaktiven Dauerbetrieb ausgelegt: Eine Fahrstrategie oder eine Person ändert die Steuerung, und das Modell generiert die nächsten Beobachtungen. Dieser geschlossene Regelkreis benötigt außerdem eine Simulationslaufzeitumgebung und einen Renderer, um die Szenariosteuerungen zu aktualisieren. Für die Robotik unterstützt Sim-Bimanual Roboterkonfigurationen von YAM und AgiBot. Die Steuerungen umfassen sowohl die Manipulation als auch Änderungen des Kamerastandpunkts.

## Was Entwickler benötigen

Das Cosmos Framework von NVIDIA bietet Rezepte für Training und Inferenz, mit denen sich die Modelle an neue Sensoren, Aktionen und Daten anpassen lassen. Die Beispiele können laut NVIDIA mit PyTorch oder vLLM-Omni auf Hopper- und Blackwell-GPUs ausgeführt werden. In den Anleitungen auf Hugging Face werden für die Einrichtung von Sim-Bimanual Linux, eine NVIDIA-GPU, Docker und das NVIDIA Container Toolkit vorausgesetzt. NVIDIA zufolge wurde die Einrichtung mit einer einzelnen GB200-GPU getestet; das ist jedoch keine Angabe zum erforderlichen Mindest-GPU-Speicher.

Diese Modelle erzeugen Beobachtungen; sie ersetzen nicht alle Bestandteile eines Simulators. Bei Sim-Transfer beispielsweise berechnet der Simulator weiterhin Bewegung und physikalischen Zustand, während das Modell die daraus resultierende Ansicht rendert. NVIDIA zufolge müssen Forschende noch untersuchen, ob sich die Modelle zuverlässig für das Training und die Bewertung von Fahrstrategien eignen.

## Die Fakten

- Alle vier Cosmos-3-Nano-Checkpoints haben 16 Milliarden trainierbare Parameter.
- Transfer-Auto unterstützt bis zu 11 Kameraperspektiven und die gemeinsame Erzeugung von RGB- und LiDAR-Daten.
- Laut NVIDIA unterstützt Transfer-Auto Clips mit bis zu 400 Bildern bei 480p oder 720p.
- Die Einrichtung von Sim-Bimanual wurde mit einer einzelnen GB200-GPU getestet; NVIDIA bezeichnet dies nicht als Mindestanforderung.

## Warum es wichtig ist

Für Forschende im Bereich Robotik und autonomes Fahren bieten die Modelle Möglichkeiten, unterschiedliche Sensorbeobachtungen zu erzeugen oder zu testen, wie eine Fahrstrategie auf veränderte Steuerungen reagiert. Dafür benötigen sie weiterhin kompatible NVIDIA-Hardware und beim Fahren im geschlossenen Regelkreis eine Simulationslaufzeitumgebung. Wie gut die erzeugten Szenen die Leistung in der realen Welt unterstützen, muss noch untersucht werden.

## Quellen und Referenzen

1. [New NVIDIA Cosmos 3 Open Models for Interactive World Simulation on Hugging Face](https://huggingface.co/blog/nvidia/cosmos-interactive-world-simulation) – Hugging Face, 2026-11-05
2. [NVIDIA](https://developer.nvidia.com/blog/build-world-models-for-interactive-simulation-with-nvidia-cosmos/) – NVIDIA

Zuletzt aktualisiert: 2026-11-05