Исследователи под руководством Яньцзюнь Ли представили LANGUAGE-FORCING — метод обучения моделей взаимодействия роботов с окружающим миром с помощью текстовых описаний хода выполнения задачи. Метод согласует текстовые эмбеддинги замороженной визуально-языковой модели с прогнозом будущих изображений, которые увидит робот. Дополнительные вычисления нужны только на этапе обучения, поэтому во время работы робот действует с прежней скоростью. На тесте HumanoidArena показатель успешного выполнения задач составил 79.17% — на 9.46 пункта выше, чем у ближайшего конкурента. В пяти задачах в реальных условиях доля успеха выросла с 53.33% до 71.33%.
Почему это важно
Для разработчиков гуманоидных роботов эта технология означает более надёжное выполнение задач без снижения скорости работы робота.
