NVIDIA hat vier Modelle mit offenen Gewichten aus der Cosmos-3-Familie zur Erstellung interaktiver Fahr- und Robotiksimulationen veröffentlicht. Die Checkpoints sind auf Hugging Face unter der Lizenz OpenMDW1.1 verfügbar, die vorbehaltlich ihrer Bedingungen eine kommerzielle und nicht kommerzielle Nutzung erlaubt. Bei allen handelt es sich um nachtrainierte Versionen von Cosmos 3 Nano mit 16 Milliarden trainierbaren Parametern.
Die Modelle sind für unterschiedliche Aufgaben gedacht. Cosmos3-Nano-Transfer-Auto erstellt Offline-Fahrclips mit bis zu 11 Kameraperspektiven und kann dazu passende LiDAR-Daten erzeugen – eine Form der dreidimensionalen Entfernungsmessung. Cosmos3-Nano-Sim-Auto generiert Kamera- und LiDAR-Beobachtungen in aufeinanderfolgenden Abschnitten, während sich die Fahrsteuerung ändert. Cosmos3-Nano-Sim-Transfer wandelt Simulatorsteuerungen in RGB-Videos um, während Cosmos3-Nano-Sim-Bimanual Videos anhand von Roboter- oder Kamerabewegungen für Systeme mit zwei Armen vorhersagt.
Was simulieren die Modelle?
Die Fahrmodelle nutzen Steuerungsangaben aus World Scenario Map, um Straßenverläufe und Verkehrsbewegungen zu beschreiben. Entwickler können Bedingungen wie Wetter, Beleuchtung und Tageszeit variieren; optionale Startbilder helfen dabei, das Aussehen der Szene vorzugeben. NVIDIA zufolge kann Transfer-Auto synchronisierte Videos mit bis zu 30 Bildern pro Sekunde erzeugen. Die Clips können bei 480p oder 720p bis zu 400 Bilder umfassen; längere Sequenzen lassen sich abschnittsweise erstellen.
Sim-Auto ist für den interaktiven Dauerbetrieb ausgelegt: Eine Fahrstrategie oder eine Person ändert die Steuerung, und das Modell generiert die nächsten Beobachtungen. Dieser geschlossene Regelkreis benötigt außerdem eine Simulationslaufzeitumgebung und einen Renderer, um die Szenariosteuerungen zu aktualisieren. Für die Robotik unterstützt Sim-Bimanual Roboterkonfigurationen von YAM und AgiBot. Die Steuerungen umfassen sowohl die Manipulation als auch Änderungen des Kamerastandpunkts.
Was Entwickler benötigen
Das Cosmos Framework von NVIDIA bietet Rezepte für Training und Inferenz, mit denen sich die Modelle an neue Sensoren, Aktionen und Daten anpassen lassen. Die Beispiele können laut NVIDIA mit PyTorch oder vLLM-Omni auf Hopper- und Blackwell-GPUs ausgeführt werden. In den Anleitungen auf Hugging Face werden für die Einrichtung von Sim-Bimanual Linux, eine NVIDIA-GPU, Docker und das NVIDIA Container Toolkit vorausgesetzt. NVIDIA zufolge wurde die Einrichtung mit einer einzelnen GB200-GPU getestet; das ist jedoch keine Angabe zum erforderlichen Mindest-GPU-Speicher.
Diese Modelle erzeugen Beobachtungen; sie ersetzen nicht alle Bestandteile eines Simulators. Bei Sim-Transfer beispielsweise berechnet der Simulator weiterhin Bewegung und physikalischen Zustand, während das Modell die daraus resultierende Ansicht rendert. NVIDIA zufolge müssen Forschende noch untersuchen, ob sich die Modelle zuverlässig für das Training und die Bewertung von Fahrstrategien eignen.
Warum es wichtig ist
Für Forschende im Bereich Robotik und autonomes Fahren bieten die Modelle Möglichkeiten, unterschiedliche Sensorbeobachtungen zu erzeugen oder zu testen, wie eine Fahrstrategie auf veränderte Steuerungen reagiert. Dafür benötigen sie weiterhin kompatible NVIDIA-Hardware und beim Fahren im geschlossenen Regelkreis eine Simulationslaufzeitumgebung. Wie gut die erzeugten Szenen die Leistung in der realen Welt unterstützen, muss noch untersucht werden.
