NVIDIA ha rilasciato quattro modelli a pesi aperti della famiglia Cosmos 3, pensati per creare simulazioni interattive di guida e robotica. I checkpoint sono disponibili su Hugging Face con licenza OpenMDW1.1, che ne consente l’uso commerciale e non commerciale nel rispetto delle relative condizioni. Ognuno è una versione di Cosmos 3 Nano sottoposta a ulteriore addestramento e dispone di 16 miliardi di parametri addestrabili.
I modelli sono progettati per compiti diversi. Cosmos3-Nano-Transfer-Auto crea clip di guida offline da un massimo di 11 visuali di telecamera e può generare i relativi dati LiDAR, un tipo di misurazione delle distanze in 3D. Cosmos3-Nano-Sim-Auto genera osservazioni di telecamere e LiDAR in segmenti successivi, man mano che cambiano i comandi di guida. Cosmos3-Nano-Sim-Transfer trasforma i comandi del simulatore in video RGB, mentre Cosmos3-Nano-Sim-Bimanual prevede video a partire dai comandi impartiti a robot o telecamere in configurazioni a due bracci.
Che cosa simulano?
I modelli per la guida usano i comandi World Scenario Map per descrivere la struttura stradale e il movimento del traffico. Gli sviluppatori possono variare condizioni come il meteo, l’illuminazione e l’ora del giorno; immagini iniziali facoltative aiutano a definire l’aspetto della scena. NVIDIA afferma che Transfer-Auto può generare video sincronizzati a un massimo di 30 fotogrammi al secondo, con clip fino a 400 fotogrammi a 480p o 720p; le sequenze più lunghe si possono creare in segmenti.
Sim-Auto è progettato per un uso interattivo e continuativo: una politica di guida o una persona modifica i comandi e il modello genera le osservazioni successive. Questo ciclo chiuso richiede anche un ambiente di esecuzione per la simulazione e un renderer che aggiorni i comandi dello scenario. Per la robotica, Sim-Bimanual supporta le configurazioni dei robot YAM e AgiBot, con comandi sia per la manipolazione sia per cambiare il punto di vista della telecamera.
Di che cosa hanno bisogno gli sviluppatori
Il Cosmos Framework di NVIDIA fornisce procedure per l’addestramento e l’inferenza, utili ad adattare i modelli a nuovi sensori, azioni e dati. Secondo NVIDIA, gli esempi possono essere eseguiti con PyTorch o vLLM-Omni su GPU Hopper e Blackwell. Le istruzioni su Hugging Face indicano Linux, una GPU NVIDIA, Docker e NVIDIA Container Toolkit tra i requisiti per la configurazione di Sim-Bimanual. NVIDIA afferma che questa configurazione è stata testata su una GPU GB200, ma non la indica come requisito minimo di memoria.
Questi modelli generano osservazioni, ma non sostituiscono ogni componente di un simulatore. In Sim-Transfer, per esempio, il simulatore continua a calcolare il movimento e lo stato fisico, mentre il modello rende la visuale risultante. NVIDIA sottolinea che i ricercatori devono ancora verificare se i modelli siano in grado di supportare in modo affidabile l’addestramento e la valutazione delle politiche.
Perché conta
Per chi fa ricerca sulla robotica e sulla guida autonoma, i modelli offrono modi per generare osservazioni dei sensori in condizioni variabili o verificare come una politica reagisce al cambiamento dei comandi. Servono comunque hardware NVIDIA compatibile e, per la guida a ciclo chiuso, un ambiente di esecuzione per la simulazione; resta da misurare quanto le scene generate siano utili per ottenere prestazioni nel mondo reale.
