Исследовательская группа представила OmniHOI — систему, которая преобразует обычные видео, снятые одной камерой и показывающие, как люди манипулируют предметами, в траектории движений для роботизированных кистей с подвижными пальцами. Работа посвящена практической проблеме: на видео видна только одна сторона руки, и прямой перенос ее движений на робота может привести к тому, что он не удержит предмет.
По данным авторов, OmniHOI успешно справилась с 53% из 60 видеороликов — против 28% у наиболее эффективной из проверенных ими ранее разработок по переносу движений с видео на робота. В отдельной серии испытаний исследователи перенесли по 150 траекторий, полученных с помощью захвата движений, на каждую из пяти роботизированных кистей с числом степеней свободы от 6 до 22. Этот показатель отражает, сколькими способами может двигаться кисть. Доля успешных попыток составила от 39% до 89%, тогда как у прежних методов переноса она не превышала 31%.
Как работает система
OmniHOI состоит из трех этапов. Сначала система восстанавливает движения руки и предмета по визуальным подсказкам в видео. Затем она корректирует движения с учетом контакта роботизированной кисти с предметом, а после этого уточняет их в физической симуляции, чтобы лучше учесть динамику.
В статье говорится, что полученные траектории также запускали на реальном роботе с двумя манипуляторами для выполнения разных задач. В аннотации не названы модель робота и показатели успешности этих испытаний, поэтому приведенные выше проценты не следует считать результатами применения системы в реальных условиях. Это исследовательская работа; в аннотации не уточняется, доступны ли система или ее код публике.
Что показывают результаты
Результаты указывают на то, что видео человека, снятое одной камерой, может стать полезным источником примеров для обучения роботизированных кистей — без необходимости в качественных данных захвата движений или обучении с подкреплением под конкретную задачу. Авторы приводят результаты испытаний в аннотации к статье; независимая проверка в ней не описана.
Почему это важно
Для специалистов по робототехнике эти результаты указывают на возможный способ превращать видео, на которых люди обращаются с предметами, в примеры движений для роботизированных кистей, вместо того чтобы полагаться на траектории, полученные захватом движений. Однако аннотация не показывает, насколько хорошо система работает за пределами описанных испытаний и могут ли другие команды получить доступ к этим инструментам.
