# OmniHOI omvandlar videor av händer till robotrörelser

> Forskningssystemet omvandlar videor från en enda kamera där människor hanterar föremål till rörelsebanor för robothänder. Enligt forskarna lyckas systemet oftare än tidigare metoder för rörelseöverföring.

Oossa · 2026-10-09 · https://oossa.com/sv/omnihoi-turns-human-hand-videos-into-robot-motions

Händelsedatum: 2026-10-07

Ett forskarlag har presenterat OmniHOI, ett system som omvandlar vanliga videor från en enda kamera där människor hanterar föremål till rörelsebanor för fingerfärdiga robothänder. Arbetet tar sig an ett praktiskt problem: en video visar bara handen från en vinkel, och om rörelsen överförs direkt till en robot kan den få svårt att hålla kvar föremålet.

Forskarna uppger att OmniHOI lyckades med 53% av 60 videoklipp, jämfört med 28% för den bästa tidigare videobaserade metoden för rörelseöverföring till robotar som de testade. I en separat testomgång överförde de 150 rörelsefångstbanor till var och en av fem robothänder, med mellan 6 och 22 frihetsgrader – ett mått på hur många olika sätt en hand kan röra sig på. Framgångsgraden varierade mellan 39% och 89%, medan tidigare överföringsmetoder nådde som högst 31%.

## Så fungerar systemet

OmniHOI består av tre steg. Först återskapar systemet handens och föremålets rörelser med hjälp av ledtrådar i videon. Därefter anpassas rörelsen efter robothandens kontakt med föremålet, innan den finjusteras i en fysiksimulering så att den färdiga rörelsen bättre tar hänsyn till dynamiken.

I artikeln står det att de resulterande rörelsebanorna också kördes på en verklig robot med två armar i en rad olika uppgifter. Sammanfattningen namnger inte roboten och anger inga framgångsgrader för körningarna med den verkliga roboten. Procentsiffrorna ovan ska därför inte tolkas som resultat från användning i verkliga miljöer. Arbetet är en forskningsartikel; sammanfattningen anger inte om systemet eller koden är offentligt tillgänglig.

## Vad resultaten visar

Resultaten tyder på att videor från en enda kamera kan ge användbara demonstrationer för robothänder, utan krav på välordnade rörelsefångstdata eller uppgiftsspecifik träning med förstärkningsinlärning. Forskarna redovisar sina tester i artikelns sammanfattning, men beskriver ingen oberoende validering.

## Fakta

- OmniHOI skickades in till arXiv den 7 oktober 2026.
- I tester med 60 monokulära videoklipp rapporterar forskarna 53% framgång, jämfört med 28% för den bästa tidigare videobaserade metoden för rörelseöverföring till robotar.
- För 150 rörelsefångstbanor som överfördes till var och en av fem robothänder låg den rapporterade framgångsgraden mellan 39% och 89%; tidigare överföringsmetoder nådde som högst 31%.
- De fem testade robothänderna hade mellan 6 och 22 frihetsgrader.

## Varför det spelar roll

För robotikteam pekar resultaten på ett möjligt sätt att omvandla videor av människor som hanterar föremål till demonstrationer för robothänder, i stället för att förlita sig på rörelsefångstbanor. Men sammanfattningen visar inte hur väl systemet fungerar utanför de redovisade testerna eller om andra team kan få tillgång till verktygen.

## Källor och referenser

1. [OmniHOI: Dexterous Hand-Object Interaction from Monocular Human Video](https://arxiv.org/abs/2610.10855) – arXiv cs.RO, 2026-10-09

Senast uppdaterad: 2026-10-09