Исследователи представили GazeAct — набор данных для реальных роботов и метод обучения, объединяющий 12,000 демонстраций 40 задач с записью взгляда человека на частоте 300 Hz. Данные о взгляде помогают обучать модели «зрение — язык — действие» фокусироваться на нужных объектах и участках; по словам авторов, при работе роботам не требуется информация о взгляде.
В 18 задачах в реальных условиях средняя успешность, по данным авторов, выросла с 48.1% до 58.6%, а в отдельных случаях — на 25 процентных пунктов. Также авторы сообщают о росте результата на тесте LIBERO-Spatial: с 57.9% до 69.6%.
Почему это важно
Для исследователей робототехники GazeAct предлагает способ использовать движения глаз оператора как подсказки при обучении, не устанавливая датчики отслеживания взгляда во время эксплуатации. Пока неясно, сохраняется ли эффект за пределами описанных испытаний.
