# OmniHOI macht aus Handvideos Roboterbewegungen

> Die Forschungspipeline wandelt Videos aus einer einzelnen Kameraperspektive, in denen Menschen Gegenstände handhaben, in Bewegungsabläufe für Roboterhände um. Laut den Autoren erzielt sie höhere Erfolgsraten als frühere Übertragungsmethoden.

Oossa · 2026-10-09 · https://oossa.com/de/omnihoi-turns-human-hand-videos-into-robot-motions

Datum des Ereignisses: 2026-10-07

Ein Forschungsteam hat OmniHOI vorgestellt – ein System, das gewöhnliche Videos aus einer einzelnen Kameraperspektive, in denen Menschen Gegenstände manipulieren, in Bewegungsabläufe für geschickte Roboterhände umwandelt. Die Arbeit befasst sich mit einem praktischen Problem: Ein Video zeigt die Hand nur aus einer Perspektive, und eine direkte Übertragung ihrer Bewegungen auf einen Roboter kann dazu führen, dass dieser einen Gegenstand nicht sicher festhält.

Laut den Autoren war OmniHOI bei 53 % von 60 Videoclips erfolgreich. Bei der leistungsstärksten zuvor entwickelten Video-zu-Roboter-Pipeline, die sie testeten, waren es 28 %. In einer separaten Testreihe übertrugen sie jeweils 150 Motion-Capture-Bewegungsabläufe auf fünf Roboterhände mit 6 bis 22 Freiheitsgraden – ein Maß dafür, auf wie viele Arten sich eine Hand bewegen kann. Die Erfolgsraten lagen zwischen 39 % und 89 %; frühere Übertragungsmethoden erreichten höchstens 31 %.

## So funktioniert die Pipeline

OmniHOI besteht aus drei Schritten. Zunächst rekonstruiert das System anhand von Hinweisen im Video die Bewegungen von Hand und Gegenstand. Anschließend passt es die Bewegungen an die Kontakte zwischen Roboterhand und Gegenstand an und verfeinert sie dann in einer Physiksimulation, damit der resultierende Bewegungsablauf die Dynamik besser berücksichtigt.

Laut der Arbeit liefen die resultierenden Bewegungsabläufe bei einer Reihe von Aufgaben auch auf einem realen Roboter mit zwei Armen. Im Abstract werden weder der Roboter genannt noch Erfolgsraten für diese Tests mit dem realen Roboter angegeben. Die oben genannten Prozentwerte sollten daher nicht als Ergebnisse eines Einsatzes in der Praxis verstanden werden. Bei der Arbeit handelt es sich um eine Forschungsstudie; aus dem Abstract geht nicht hervor, ob das System oder der Code öffentlich verfügbar ist.

## Was die Ergebnisse zeigen

Die Ergebnisse legen nahe, dass Videos von Menschen aus einer einzelnen Kameraperspektive nützliche Demonstrationen für Roboterhände liefern können, ohne dass dafür saubere Motion-Capture-Daten oder ein aufgabenspezifisches Reinforcement-Learning-Training nötig sind. Die Tests der Autoren werden im Abstract der Arbeit beschrieben; eine unabhängige Überprüfung wird darin nicht erwähnt.

## Die Fakten

- OmniHOI wurde am October 7, 2026 bei arXiv eingereicht.
- Bei Tests mit 60 monokularen Videoclips berichten die Autoren von einer Erfolgsrate von 53 %, verglichen mit 28 % bei der besten bisherigen Video-zu-Roboter-Pipeline.
- Bei der Übertragung von jeweils 150 Motion-Capture-Bewegungsabläufen auf fünf Roboterhände lagen die berichteten Erfolgsraten zwischen 39 % und 89 %; frühere Übertragungsmethoden erreichten höchstens 31 %.
- Die fünf getesteten Roboterhände hatten zwischen 6 und 22 Freiheitsgrade.

## Warum es wichtig ist

Für Robotikteams deuten die berichteten Ergebnisse auf eine mögliche Möglichkeit hin, Videos von Menschen beim Umgang mit Gegenständen in Demonstrationen für Roboterhände umzuwandeln, statt auf Motion-Capture-Bewegungsabläufe angewiesen zu sein. Das Abstract belegt jedoch nicht, wie gut das System über die beschriebenen Tests hinaus funktioniert oder ob andere Teams auf die Werkzeuge zugreifen können.

## Quellen und Referenzen

1. [OmniHOI: Dexterous Hand-Object Interaction from Monocular Human Video](https://arxiv.org/abs/2610.10855) – arXiv cs.RO, 2026-10-09

Zuletzt aktualisiert: 2026-10-09