Nvidia ha annunciato un nuovo modello di IA chiamato GR00T 2. Il sistema osserva video in prima persona di persone impegnate in varie attività e poi prevede sia ciò che vedrà il robot sia come dovrà muoversi. Nei test di laboratorio, un robot con mani a cinque dita è riuscito ad accendere un fiammifero, affettare una banana o lanciare pacchi, senza teleoperazione diretta per svolgere queste attività.
Nvidia descrive GR00T 2 come un modello world-action (WAM). A differenza del predecessore GR00T 1, non ha bisogno di comandi vocali abbinati a immagini. Prevede invece contemporaneamente il fotogramma video successivo e il comando motorio corrispondente, usando un diffusion transformer per ricostruire video e movimenti futuri.
Come impara il modello
Il modello è stato addestrato su un enorme set di dati che comprende circa 400,000 ore di video di persone al lavoro riprese con telecamere indossate sulla testa, 10,184 ore di dimostrazioni con una pinza UMI portatile e 23,500 ore di teleoperazione di robot. Nvidia afferma che i video umani costituiscono la maggior parte dei dati e che aumentandone la quantità il tasso di successo dei robot nelle attività passa dal 50 % al 70 % su robot reali.
Quando un nuovo robot deve imparare un’attività, una persona può mostrarne i passaggi usando guanti con sensori o un esoscheletro per le dita. Il sistema sostituisce il braccio umano nel video previsto con quello del robot ed estrae i comandi di controllo corrispondenti. Nvidia riferisce che bastano poche dimostrazioni per far salire il tasso di successo dal 40 % al 95 % dopo meno di tre minuti di addestramento convenzionale.
Prestazioni e limiti
In esperimenti controllati, un robot è riuscito a piantare chiodi guardando un singolo video umano e ha assemblato macchinine giocattolo nel 97 % dei tentativi se abbinato a un modello linguistico di livello superiore come GPT-6 Astra. Senza il modello linguistico, il tasso di successo è sceso al 23 %. Per i robot bipedi, una versione più leggera chiamata GR00T 2 Turbo gira sul computer di bordo Jetson Thor, impiega 124 ms per ogni previsione e gestisce attività come raccogliere popcorn, sparecchiare e asciugare liquidi; quest’ultima operazione è però riuscita in poco meno della metà dei tentativi.
Nvidia segnala diversi ostacoli: il modello non è ancora in grado di usare sensori tattili diretti, a volte non rileva errori sottili e il modello linguistico aggiunge una latenza di circa sette secondi per ogni fase di pianificazione. Nei test di smistamento dei rifiuti, questo ha lasciato il robot inattivo per circa un terzo del tempo.
Perché conta
Per i produttori, il modello potrebbe ridurre il tempo e i costi necessari per programmare i bracci robotici in modo che svolgano nuove attività, dato che potrebbe bastare una sola dimostrazione umana. Tuttavia, la necessità attuale di ricorrere a modelli linguistici esterni e l’assenza di sensori tattili indicano che i robot non sono ancora pronti per linee di produzione pienamente affidabili.
