Nvidia har presenterat en ny AI-modell vid namn GR00T 2. Systemet tittar på videor filmade ur människors perspektiv när de utför uppgifter och förutser sedan både vad roboten kommer att se och hur den ska röra sig. I laboratorietester kunde en robot med femfingrade händer tända en tändsticka, skiva en banan eller kasta paket utan direkt fjärrstyrning för just de uppgifterna.
Nvidia beskriver GR00T 2 som en världs- och handlingsmodell (WAM). Till skillnad från föregångaren GR00T 1 behöver den inte språkkommandon kopplade till bilder. I stället förutser den nästa videobild och motsvarande motorkommando samtidigt, med hjälp av en diffusionstransformator som avbrusar framtida video och rörelser.
Så lär sig modellen
Modellen tränades på en enorm datamängd som omfattar omkring 400,000 timmar huvudmonterad video av människor i arbete, 10,184 timmar demonstrationer med en handhållen UMI-gripare och 23,500 timmar fjärrstyrning av robotar. Nvidia uppger att människovideorna utgör merparten av dataunderlaget och att en större mängd sådan video höjer robotarnas framgångsgrad i uppgifter från 50 % till 70 % i verkliga robotar.
När en ny robot ska lära sig en uppgift kan en människa visa stegen med datahandskar eller ett fingerexoskelett. Systemet ersätter den mänskliga armen i sin videoförutsägelse med robotens arm och tar fram motsvarande styrkommandon. Nvidia uppger att framgångsgraden med bara några få demonstrationer steg från 40 % till 95 % efter mindre än tre minuters konventionell träning.
Prestanda och begränsningar
I kontrollerade experiment lyckades en robot slå i spikar efter att ha sett en enda video av en människa. Den monterade leksaksbilar i 97 % av försöken när den kombinerades med en språkmodell på högre nivå, som GPT-6 Astra. Utan språkmodellen sjönk framgångsgraden till 23 %. För tvåbenta robotar körs en mindre version, GR00T 2 Turbo, på den inbyggda datorn Jetson Thor. Den gör en förutsägelse på 124 ms och klarar uppgifter som att skopa upp popcorn, duka av bord och torka upp vätska, även om försöken med att torka vätska lyckades i knappt hälften av fallen.
Nvidia pekar på flera hinder: modellen kan ännu inte använda direkta beröringssensorer, den missar ibland subtila fel och språkmodellen tillför en fördröjning på omkring sju sekunder per planeringssteg. Det gör att roboten står stilla ungefär en tredjedel av tiden i tester med sortering av sopor.
Varför det spelar roll
För tillverkare kan modellen minska tiden och kostnaden för att programmera robotarmar för nya uppgifter, eftersom en enda mänsklig demonstration kan räcka. Men behovet av externa språkmodeller och avsaknaden av beröringssensorer innebär att robotar ännu inte är redo för helt tillförlitliga produktionslinjer.
