Исследователи под руководством Yunze Liu представили Robota-Embed — модель эмбеддингов «зрение — язык — действие» для роботов. Она совместно кодирует текущее состояние, визуальные данные и действия, а затем находит похожий опыт и использует его как контекст. В ходе тестов доля успешных попыток выросла с 47% до 56% на бенчмарке DROID‑Sim и с 86% до 93% на сложной выборке LIBERO. Модель также помогла политике GPT‑6 Astra с замороженными параметрами справиться с пятью задачами ManiSkill: доля успеха составила 68% против 24% у одной лишь политики.
Почему это важно
Разработчики роботов могут повысить эффективность выполнения задач с помощью Robota-Embed, не переобучая политики, и сэкономить вычислительные ресурсы и усилия на сбор данных.
