# OmniHOI zet handelingen uit video om in robotbewegingen

> De onderzoekspijplijn zet video's van mensen die voorwerpen hanteren, opgenomen met één camera, om in bewegingstrajecten voor robothanden. Volgens de auteurs slaagt het systeem vaker dan eerdere methoden.

Oossa · 2026-10-09 · https://oossa.com/nl/omnihoi-turns-human-hand-videos-into-robot-motions

Datum van gebeurtenis: 2026-10-07

Een onderzoeksteam heeft OmniHOI geïntroduceerd, een systeem dat gewone video's — opgenomen met één camera — van mensen die voorwerpen hanteren omzet in bewegingstrajecten voor behendige robothanden. Het onderzoek richt zich op een praktisch probleem: op video is een hand maar vanuit één gezichtspunt te zien. Als je die beweging rechtstreeks naar een robot vertaalt, kan die bewegingen maken waarbij hij het voorwerp niet vasthoudt.

Volgens de auteurs slaagde OmniHOI in 53% van de 60 videoclips, tegenover 28% voor de beste eerdere pijplijn voor het omzetten van video naar robotbewegingen die ze testten. In een aparte reeks tests brachten ze 150 bewegingstrajecten uit motion capture over op elk van vijf robothanden, met tussen de 6 en 22 vrijheidsgraden — een maat voor het aantal manieren waarop een hand kan bewegen. De slagingspercentages liepen uiteen van 39% tot 89%, terwijl eerdere overdrachtsmethoden niet boven de 31% uitkwamen.

## Zo werkt de pijplijn

OmniHOI bestaat uit drie stappen. Eerst reconstrueert het systeem de bewegingen van de hand en het voorwerp aan de hand van aanwijzingen in de video. Vervolgens past het de beweging aan zodat die aansluit op het contact tussen de robothand en het voorwerp. Tot slot verfijnt het systeem de beweging in een natuurkundige simulatie, zodat die beter rekening houdt met de dynamiek.

Volgens het artikel werden de resulterende bewegingstrajecten ook uitgevoerd door een echte robot met twee armen, bij uiteenlopende taken. Het abstract vermeldt niet om welke robot het gaat en geeft geen slagingspercentages voor die tests met de echte robot. De percentages hierboven zijn dus geen resultaten van inzet in de praktijk. Het gaat om een onderzoekspaper; het abstract vermeldt niet of het systeem of de code openbaar beschikbaar is.

## Wat de resultaten laten zien

De resultaten wijzen erop dat video's van mensen, opgenomen met één camera, bruikbare voorbeelden kunnen opleveren voor robothanden. Daarvoor zijn geen nauwkeurige motion-capturegegevens of taakgerichte training met reinforcement learning nodig. De auteurs beschrijven hun tests in het abstract van de paper; onafhankelijke validatie wordt daarin niet genoemd.

## De feiten

- OmniHOI is op October 7, 2026 ingediend bij arXiv.
- In tests met 60 monoculaire videoclips rapporteerden de auteurs een slagingspercentage van 53%, tegenover 28% voor de beste eerdere pijplijn voor het omzetten van video naar robotbewegingen.
- Bij de overdracht van 150 motion-capturetrajecten naar elk van vijf robothanden liep het gerapporteerde slagingspercentage uiteen van 39% tot 89%; eerdere overdrachtsmethoden kwamen niet boven de 31% uit.
- De vijf geteste robothanden hadden tussen de 6 en 22 vrijheidsgraden.

## Waarom het ertoe doet

Voor roboticateams wijzen de gerapporteerde resultaten op een mogelijke manier om video's van mensen die voorwerpen hanteren om te zetten in voorbeelden voor robothanden, in plaats van te vertrouwen op motion-capturetrajecten. Het abstract maakt echter niet duidelijk hoe goed het systeem buiten de beschreven tests werkt en evenmin of andere teams toegang kunnen krijgen tot de hulpmiddelen.

## Bronnen en referenties

1. [OmniHOI: Dexterous Hand-Object Interaction from Monocular Human Video](https://arxiv.org/abs/2610.10855) – arXiv cs.RO, 2026-10-09

Laatst bijgewerkt: 2026-10-09