Команда под руководством Хуанга Хуанга представила RoboRender — систему, которая превращает траектории роботов в симуляции в реалистичные видео RGB. Модель использует видео с данными о глубине, текстовые команды и маски роботов, чтобы добавить реалистичные текстуры и фон, сохранив исходные движения и действия. Политики, обученные на этих видео, проверили на задачах захвата и перемещения объектов, манипуляций с объектами, имеющими подвижные части, и мобильных манипуляций. Они успешно справлялись с задачами в 71% случаев. Это примерно в 7,1 раза лучше, чем при обучении на исходных кадрах симуляции, и в 3,6 раза лучше, чем при стандартной визуальной рандомизации домена.
Почему это важно
Разработчики роботов смогут обучать контроллеры в симуляции и сразу применять их на практике, сократив затраты на сбор данных в реальных условиях.
