Исследовательская группа представила AIRoA-0 — роботизированную систему, обученную на 16,151 часе демонстраций, в которых люди выполняли задачи с ручным захватом. По словам команды, во время обучения данные с роботов не собирались: робот появляется только на этапе тестирования. Для демонстраций использовали YUBI — захват с открытым исходным кодом, который человек может держать в руке, записывая манипуляции без робота.
Получив одну инструкцию, AIRoA-0 может выполнять такие задачи, как сортировка более дюжины мелких деталей по ячейкам с номерами, замена насадок для мытья пола и щётки у робота-пылесоса, расстёгивание пенала и складывание полотенца. Система использует только камеры, установленные на двух запястьях робота, без камеры, снимающей всю сцену сверху. Испытания проводились на площадке, где не записывали ни одного фрагмента обучающих данных.
Каковы результаты?
По данным авторов, средняя успешность в 10 испытанных задачах составила 78%. Для сравнения: у лучшей из четырёх других моделей «зрение — язык — действие» — систем, связывающих визуальные данные и языковые инструкции с действиями робота, — после дообучения на тех же демонстрациях результат составил 27%. Эти данные приводит исследовательская группа; в кратком изложении статьи не говорится о независимой оценке.
AIRoA-0 рассчитана на работу с разными роботами, на которые можно установить захват YUBI. В качестве примеров авторы называют двуручные Franka, TX-G2, OpenArm и UR. Система учится определять, какие части изображения с камер на запястьях важны, оценивать этап выполнения задачи и непрерывно выдавать команды. Согласно статье, она не использует обучение с подкреплением и коррекцию действий непосредственно на роботе.
Что смогут использовать другие?
Команда сообщает, что публикует набор демонстрационных данных, веса предварительно обученной модели и инструкцию по её адаптации к новым задачам. По словам авторов, насколько им известно, это крупнейший открытый набор демонстраций с ручным захватом, снабжённых инструкциями по задачам и подзадачам. Авторы утверждают, что записать задачу с помощью YUBI и дообучить модель можно менее чем за четыре часа на одном вычислительном узле с восемью GPU H200.
Такой подход отличается от традиционного обучения роботов, при котором люди часто собирают демонстрации, управляя самим роботом. Здесь исследователи сначала записывают движения человеческих рук, а затем переносят освоенное поведение на робота во время тестирования. Результаты статьи охватывают 10 испытанных задач и не показывают, насколько хорошо система справится с задачами или условиями, не входившими в эти испытания.
Почему это важно
Для исследователей и разработчиков в области робототехники этот подход может упростить обучение роботов: вместо демонстраций на самом роботе можно записывать движения рук человека. Авторы сообщают о высоких результатах в 10 задачах, однако эффективность системы в других задачах и независимое подтверждение результатов пока неизвестны.
