Nvidia heeft een nieuw AI-model aangekondigd: GR00T 2. Het systeem bekijkt video vanuit het perspectief van mensen die taken uitvoeren en voorspelt vervolgens zowel wat de robot zal zien als hoe die moet bewegen. In laboratoriumtests kon een robot met vijfvingerige handen een lucifer aansteken, een banaan snijden en pakketjes gooien, zonder dat iemand die taken rechtstreeks op afstand bestuurde.
Nvidia omschrijft GR00T 2 als een wereld-actiemodel (WAM). Anders dan zijn voorganger GR00T 1 heeft het geen taalopdrachten nodig die aan beelden zijn gekoppeld. In plaats daarvan voorspelt het tegelijk het volgende videobeeld en de bijbehorende motoropdracht. Daarvoor gebruikt het een diffusietransformer die toekomstige beelden en acties stapsgewijs verfijnt.
Hoe het model leert
Het model is getraind met een enorme dataset: onder meer ongeveer 400,000 uur video van mensen die werk uitvoeren, opgenomen met een camera op het hoofd, 10,184 uur aan demonstraties met een handbediende UMI-grijper en 23,500 uur aan robotbesturing op afstand. Volgens Nvidia vormt de menselijke video het grootste deel van de dataset. Meer menselijke video leidt bovendien tot betere resultaten: het succespercentage van robots bij taken stijgt daarmee van 50 % naar 70 %.
Wanneer een nieuwe robot een taak moet leren, kan een mens de stappen voordoen met datagloves of een exoskelet voor de vingers. Het systeem vervangt in zijn videovoorspelling de menselijke arm door de robotarm en haalt daar de bijbehorende besturingsopdrachten uit. Nvidia meldt dat het succespercentage na slechts enkele demonstraties en minder dan drie minuten conventionele training steeg van 40 % naar 95 %.
Prestaties en beperkingen
In gecontroleerde experimenten sloeg een robot spijkers in na het bekijken van één menselijke video. Ook zette hij speelgoedauto’s in 97 % van de gevallen in elkaar wanneer hij werd gekoppeld aan een taalmodel op hoger niveau, zoals GPT‑6 Astra. Zonder dat taalmodel daalde het succespercentage naar 23 %. Voor tweevoetige robots draait een slankere versie, GR00T 2 Turbo, op de Jetson Thor-computer aan boord. Die verwerkt elke voorspelling in 124 ms en kan taken uitvoeren zoals popcorn opscheppen, tafels afruimen en vloeistoffen opvegen. Bij het opvegen van vloeistoffen slaagde de robot echter in minder dan de helft van de pogingen.
Nvidia wijst op verschillende obstakels: het model kan nog geen directe aanraaksensoren gebruiken en mist soms subtiele fouten. Ook zorgt het taalmodel voor ongeveer zeven seconden vertraging per planningsstap. Daardoor stond de robot tijdens tests met het sorteren van afval ongeveer een derde van de tijd stil.
Waarom het ertoe doet
Voor fabrikanten kan het model de tijd en kosten verlagen die nodig zijn om robotarmen voor nieuwe taken te programmeren: soms volstaat één menselijke demonstratie. Maar doordat robots voorlopig externe taalmodellen nodig hebben en geen tastzin hebben, zijn ze nog niet klaar voor volledig betrouwbare productielijnen.
