Ett forskarlag har presenterat AIRoA-0, ett robotsystem som tränats på 16,151 timmar av människor som demonstrerar uppgifter med en handhållen gripare. Enligt forskarna samlade de inte in några robotdata under träningen: roboten används först när systemet testas. Demonstrationerna spelas in med YUBI, en gripare med öppen källkod som människor kan hålla i för att spela in manipulationsuppgifter utan att ha en robot på plats.
Med en enda instruktion kan AIRoA-0 utföra uppgifter som att sortera fler än ett dussin små delar i numrerade fack, byta moppdynor och borste på en robotdammsugare, öppna ett pennfodral med dragkedja och vika en handduk. Systemet använder enbart kameror monterade på de två handlederna, utan någon kamera som ser hela scenen ovanifrån. Utvärderingen genomfördes på en plats där inga av träningsdata hade spelats in.
Hur bra presterade systemet?
För de 10 utvärderade uppgifterna rapporterar forskarna en genomsnittlig träffsäkerhet på 78%. De jämför det med 27% för den bästa av fyra andra modeller för syn, språk och handling – system som kopplar samman visuella indata och språkliga instruktioner med robotens handlingar – som eftertränats på samma uppgiftsdemonstrationer. Resultaten kommer från forskarlaget; sammanfattningen av artikeln som tillhandahållits beskriver ingen oberoende utvärdering.
AIRoA-0 är utformat för att fungera med olika robotar som kan utrustas med YUBI-griparen. Forskarna nämner de tvåarmade robotarna Franka, TX-G2, OpenArm och UR som exempel. Systemet lär sig vilka delar av bilderna från handledskamerorna som är viktiga, uppskattar vilket skede av en uppgift det befinner sig i och producerar kontinuerligt handlingar. Enligt artikeln använder systemet varken förstärkningsinlärning eller korrigeringar på roboten.
Vad kan andra använda?
Forskarna säger att de släpper demonstrationsdatasetet, förtränade modellvikter och en metod för att anpassa systemet till nya uppgifter. Såvitt de känner till är datasetet den största öppna samlingen av demonstrationer med handhållna gripare som innehåller instruktioner för uppgifter och deluppgifter. Enligt forskarna kan vem som helst spela in en uppgift med YUBI och efterträna modellen på under fyra timmar med en datornod utrustad med åtta H200-GPU:er.
Det skiljer sig från traditionell robotträning, där människor ofta samlar in demonstrationer genom att själva styra roboten. Här spelar forskarna i stället först in människors handrörelser och överför sedan det inlärda beteendet till en robot vid testtillfället. Resultaten i artikeln gäller de 10 uppgifter som utvärderades; de visar inte hur väl systemet klarar andra uppgifter eller miljöer än dem som ingick i testerna.
Varför det spelar roll
För robotforskare och utvecklare kan metoden göra det möjligt att lära en robot uppgifter genom att spela in en människas händer, i stället för att samla in demonstrationer med själva roboten. Forskarna rapporterar goda resultat för 10 uppgifter, men det är fortfarande oklart hur systemet presterar på andra uppgifter och om resultaten kan bekräftas oberoende.
