# OmniHOI преобразует видео с руками людей в движения роботов

> Исследовательская система превращает снятые одной камерой видео, на которых люди обращаются с предметами, в траектории движений роботизированных кистей. Авторы сообщают, что система справляется успешнее предыдущих методов переноса движений.

Oossa · 2026-10-09 · https://oossa.com/ru/omnihoi-turns-human-hand-videos-into-robot-motions

Дата события: 2026-10-07

Исследовательская группа представила OmniHOI — систему, которая преобразует обычные видео, снятые одной камерой и показывающие, как люди манипулируют предметами, в траектории движений для роботизированных кистей с подвижными пальцами. Работа посвящена практической проблеме: на видео видна только одна сторона руки, и прямой перенос ее движений на робота может привести к тому, что он не удержит предмет.

По данным авторов, OmniHOI успешно справилась с 53% из 60 видеороликов — против 28% у наиболее эффективной из проверенных ими ранее разработок по переносу движений с видео на робота. В отдельной серии испытаний исследователи перенесли по 150 траекторий, полученных с помощью захвата движений, на каждую из пяти роботизированных кистей с числом степеней свободы от 6 до 22. Этот показатель отражает, сколькими способами может двигаться кисть. Доля успешных попыток составила от 39% до 89%, тогда как у прежних методов переноса она не превышала 31%.

## Как работает система

OmniHOI состоит из трех этапов. Сначала система восстанавливает движения руки и предмета по визуальным подсказкам в видео. Затем она корректирует движения с учетом контакта роботизированной кисти с предметом, а после этого уточняет их в физической симуляции, чтобы лучше учесть динамику.

В статье говорится, что полученные траектории также запускали на реальном роботе с двумя манипуляторами для выполнения разных задач. В аннотации не названы модель робота и показатели успешности этих испытаний, поэтому приведенные выше проценты не следует считать результатами применения системы в реальных условиях. Это исследовательская работа; в аннотации не уточняется, доступны ли система или ее код публике.

## Что показывают результаты

Результаты указывают на то, что видео человека, снятое одной камерой, может стать полезным источником примеров для обучения роботизированных кистей — без необходимости в качественных данных захвата движений или обучении с подкреплением под конкретную задачу. Авторы приводят результаты испытаний в аннотации к статье; независимая проверка в ней не описана.

## Факты

- Статья об OmniHOI была отправлена на arXiv 7 октября 2026 года.
- В испытаниях на 60 видео, снятых одной камерой, авторы сообщают об успешном выполнении в 53% случаев против 28% у лучшей из прежних систем переноса движений с видео на робота.
- При переносе 150 траекторий захвата движений на каждую из пяти кистей доля успешных попыток составила от 39% до 89%; у прежних методов переноса она достигала максимум 31%.
- У пяти испытанных роботизированных кистей было от 6 до 22 степеней свободы.

## Почему это важно

Для специалистов по робототехнике эти результаты указывают на возможный способ превращать видео, на которых люди обращаются с предметами, в примеры движений для роботизированных кистей, вместо того чтобы полагаться на траектории, полученные захватом движений. Однако аннотация не показывает, насколько хорошо система работает за пределами описанных испытаний и могут ли другие команды получить доступ к этим инструментам.

## Источники и ссылки

1. [OmniHOI: Dexterous Hand-Object Interaction from Monocular Human Video](https://arxiv.org/abs/2610.10855) – arXiv cs.RO, 2026-10-09

Обновлено: 2026-10-09