Исследователи представили VICTR — метод, который помогает роботам, воспринимающим визуальные и языковые данные и выполняющим действия, выбирать полезные фрагменты демонстрации во время выполнения задачи. Вместо того чтобы находить примеры только по визуальному сходству, метод оценивает, насколько робот продвинулся относительно эталонного видео, а затем передает политике π0.5 фрагменты демонстрации, соответствующие этому этапу.
На новых реальных задачах манипулирования, выходящих за пределы обучающего распределения, команда сообщает о доле успешных попыток 23,8% против 6,2% у дообученной базовой модели π0.5. В статье также говорится, что прогресс выполнения задач вырос с 28,9% до 55,5%; при этом в ней не оценивается эффективность метода при более широком внедрении.
Почему это важно
Для исследователей робототехники VICTR показывает, что подбор демонстраций по прогрессу выполнения может помочь роботам справляться с незнакомыми задачами манипулирования; эффективность за пределами описанных испытаний пока неизвестна.
