NVIDIA har släppt fyra modeller med öppna vikter i Cosmos 3-familjen för att skapa interaktiva simuleringar av körning och robotik. Kontrollpunkterna finns på Hugging Face under licensen OpenMDW1.1, som tillåter kommersiell och icke-kommersiell användning enligt licensvillkoren. Varje modell är en vidaretränad version av Cosmos 3 Nano med 16 miljarder träningsbara parametrar.
Modellerna är avsedda för olika uppgifter. Cosmos3-Nano-Transfer-Auto skapar förinspelade körklipp från upp till 11 kameravyer och kan generera motsvarande LiDAR-data, en typ av avståndsmätning i 3D. Cosmos3-Nano-Sim-Auto genererar kamerabilder och LiDAR-observationer i löpande sekvenser när körreglagen ändras. Cosmos3-Nano-Sim-Transfer omvandlar simulatorreglage till RGB-video, medan Cosmos3-Nano-Sim-Bimanual förutsäger video utifrån robot- eller kamerarörelser för tvåarmsuppställningar.
Vad simulerar modellerna?
Körmodellerna använder reglage för World Scenario Map för att beskriva vägens utformning och trafikrörelser. Utvecklare kan variera förhållanden som väder, ljus och tid på dygnet, och kan även använda startbilder för att påverka scenens utseende. NVIDIA uppger att Transfer-Auto kan generera synkroniserad video med upp till 30 bildrutor per sekund, i klipp på upp till 400 bildrutor med 480p eller 720p. Längre sekvenser kan skapas i omgångar.
Sim-Auto är utformad för interaktiv användning över tid: en körpolicy eller en person ändrar reglagen, och modellen genererar nästa uppsättning observationer. Den slutna återkopplingsloopen kräver också en simuleringsmiljö och en renderare som uppdaterar scenreglagen. För robotik stöder Sim-Bimanual robotuppställningar med YAM och AgiBot, med reglage för både manipulation och ändring av kameravinkel.
Vad utvecklare behöver
NVIDIAs Cosmos Framework innehåller instruktioner för träning och inferens, så att modellerna kan anpassas till nya sensorer, handlingar och data. Enligt NVIDIA kan exemplen köras med PyTorch eller vLLM-Omni på Hopper- och Blackwell-GPU:er. Instruktionerna på Hugging Face anger Linux, en NVIDIA-GPU, Docker och NVIDIA Container Toolkit som krav för Sim-Bimanual-uppställningen. NVIDIA uppger att den har testats på en GB200-GPU, men beskriver inte det som ett minimikrav på minne.
Modellerna genererar observationer, men ersätter inte alla delar av en simulator. I Sim-Transfer beräknar simulatorn exempelvis fortfarande rörelser och fysiska tillstånd, medan modellen renderar den resulterande vyn. NVIDIA säger att forskare fortfarande behöver undersöka om modellerna tillförlitligt kan användas för träning och utvärdering av policyer.
Varför det spelar roll
För forskare inom robotik och självkörande fordon erbjuder modellerna sätt att generera varierade sensorobservationer eller testa hur en policy reagerar när reglagen ändras. De behöver fortfarande kompatibel NVIDIA-hårdvara och, för körning med sluten återkopplingsloop, en simuleringsmiljö. Det återstår att mäta hur väl de genererade scenerna kan bidra till prestanda i verkligheten.
