Исследователи представили GUARD — метод, который направляет генеративные политики управления роботом во время работы, не изменяя предварительно обученную политику. Он объединяет вознаграждение за выполнение задачи с оценками аномальности — сигналами о том, что действие выходит за рамки закономерностей, подтверждённых данными для обучения. Для управления процессом генерации действий политики используется обученная Q-функция.
В четырёх симулированных задачах на ловкое манипулирование авторы сообщают о средней доле успешных выполнений 96% в обычных условиях и 80% при возмущённой динамике — на 21 и 20 процентных пунктов выше, чем у сильнейшего базового метода. В прямых испытаниях с переносом из симуляции в реальный мир они также сообщают об увеличении доли успешных выполнений на 40 процентных пунктов при вращении отвёртки в руке и на 25 пунктов при переориентации предмета.
Почему это важно
Для команд, адаптирующих генеративные политики к меняющимся условиям, GUARD предлагает использовать аномалии в данных для обучения как сигнал предупреждения при выборе действий. Результаты статьи выглядят многообещающе, однако не показывают, насколько хорошо метод работает за пределами испытанных задач.
