Oliver Hausdörfer och hans team har tagit fram en ny modell för latenta handlingar som använder synkroniserade bilder från två kameror. Modellen uppskattar handlingar med sex frihetsgrader mer träffsäkert och ökar avkodningsprecisionen med 17 procent jämfört med versioner med en enda kameravinkel. När modellen integrerades i en robotpolicy ökade framgångsgraden på benchmarkuppgifter med 13,5 procent, jämfört med 6,2 procent för baslinjen med en enda kameravinkel. I tester i verkliga miljöer, där en robot härmade demonstrationer med mänskliga händer, gav modellen med två kameravinklar 20 procent fler lyckade körningar under 850 försök.
Varför det spelar roll
Förbättringen innebär att robotar kan lära sig nya färdigheter från vanliga videor med färre demonstrationer, vilket underlättar för laboratorier med begränsad mängd data från fjärrstyrning.
