Een onderzoeksteam heeft OmniHOI geïntroduceerd, een systeem dat gewone video's — opgenomen met één camera — van mensen die voorwerpen hanteren omzet in bewegingstrajecten voor behendige robothanden. Het onderzoek richt zich op een praktisch probleem: op video is een hand maar vanuit één gezichtspunt te zien. Als je die beweging rechtstreeks naar een robot vertaalt, kan die bewegingen maken waarbij hij het voorwerp niet vasthoudt.
Volgens de auteurs slaagde OmniHOI in 53% van de 60 videoclips, tegenover 28% voor de beste eerdere pijplijn voor het omzetten van video naar robotbewegingen die ze testten. In een aparte reeks tests brachten ze 150 bewegingstrajecten uit motion capture over op elk van vijf robothanden, met tussen de 6 en 22 vrijheidsgraden — een maat voor het aantal manieren waarop een hand kan bewegen. De slagingspercentages liepen uiteen van 39% tot 89%, terwijl eerdere overdrachtsmethoden niet boven de 31% uitkwamen.
Zo werkt de pijplijn
OmniHOI bestaat uit drie stappen. Eerst reconstrueert het systeem de bewegingen van de hand en het voorwerp aan de hand van aanwijzingen in de video. Vervolgens past het de beweging aan zodat die aansluit op het contact tussen de robothand en het voorwerp. Tot slot verfijnt het systeem de beweging in een natuurkundige simulatie, zodat die beter rekening houdt met de dynamiek.
Volgens het artikel werden de resulterende bewegingstrajecten ook uitgevoerd door een echte robot met twee armen, bij uiteenlopende taken. Het abstract vermeldt niet om welke robot het gaat en geeft geen slagingspercentages voor die tests met de echte robot. De percentages hierboven zijn dus geen resultaten van inzet in de praktijk. Het gaat om een onderzoekspaper; het abstract vermeldt niet of het systeem of de code openbaar beschikbaar is.
Wat de resultaten laten zien
De resultaten wijzen erop dat video's van mensen, opgenomen met één camera, bruikbare voorbeelden kunnen opleveren voor robothanden. Daarvoor zijn geen nauwkeurige motion-capturegegevens of taakgerichte training met reinforcement learning nodig. De auteurs beschrijven hun tests in het abstract van de paper; onafhankelijke validatie wordt daarin niet genoemd.
Waarom het ertoe doet
Voor roboticateams wijzen de gerapporteerde resultaten op een mogelijke manier om video's van mensen die voorwerpen hanteren om te zetten in voorbeelden voor robothanden, in plaats van te vertrouwen op motion-capturetrajecten. Het abstract maakt echter niet duidelijk hoe goed het systeem buiten de beschreven tests werkt en evenmin of andere teams toegang kunnen krijgen tot de hulpmiddelen.
