Ett forskarlag har presenterat OmniHOI, ett system som omvandlar vanliga videor från en enda kamera där människor hanterar föremål till rörelsebanor för fingerfärdiga robothänder. Arbetet tar sig an ett praktiskt problem: en video visar bara handen från en vinkel, och om rörelsen överförs direkt till en robot kan den få svårt att hålla kvar föremålet.
Forskarna uppger att OmniHOI lyckades med 53% av 60 videoklipp, jämfört med 28% för den bästa tidigare videobaserade metoden för rörelseöverföring till robotar som de testade. I en separat testomgång överförde de 150 rörelsefångstbanor till var och en av fem robothänder, med mellan 6 och 22 frihetsgrader – ett mått på hur många olika sätt en hand kan röra sig på. Framgångsgraden varierade mellan 39% och 89%, medan tidigare överföringsmetoder nådde som högst 31%.
Så fungerar systemet
OmniHOI består av tre steg. Först återskapar systemet handens och föremålets rörelser med hjälp av ledtrådar i videon. Därefter anpassas rörelsen efter robothandens kontakt med föremålet, innan den finjusteras i en fysiksimulering så att den färdiga rörelsen bättre tar hänsyn till dynamiken.
I artikeln står det att de resulterande rörelsebanorna också kördes på en verklig robot med två armar i en rad olika uppgifter. Sammanfattningen namnger inte roboten och anger inga framgångsgrader för körningarna med den verkliga roboten. Procentsiffrorna ovan ska därför inte tolkas som resultat från användning i verkliga miljöer. Arbetet är en forskningsartikel; sammanfattningen anger inte om systemet eller koden är offentligt tillgänglig.
Vad resultaten visar
Resultaten tyder på att videor från en enda kamera kan ge användbara demonstrationer för robothänder, utan krav på välordnade rörelsefångstdata eller uppgiftsspecifik träning med förstärkningsinlärning. Forskarna redovisar sina tester i artikelns sammanfattning, men beskriver ingen oberoende validering.
Varför det spelar roll
För robotikteam pekar resultaten på ett möjligt sätt att omvandla videor av människor som hanterar föremål till demonstrationer för robothänder, i stället för att förlita sig på rörelsefångstbanor. Men sammanfattningen visar inte hur väl systemet fungerar utanför de redovisade testerna eller om andra team kan få tillgång till verktygen.
