Исследователи представили MambaAct — компактный модуль для выполнения действий в моделях «зрение — язык — действие» (VLA), использующих сопоставление потоков. Он сохраняет визуально-языковой энкодер прежней модели π₀.₅, но заменяет трансформерный модуль действий компактной архитектурой Mamba. Благодаря этому модуль стал в десять раз меньше, а задержка при подавлении шума сократилась на 64.8% в симуляционном тесте LIBERO и на 58.8% в испытаниях в реальных условиях. При этом средняя успешность в LIBERO выросла примерно на 1 процентный пункт. Исходный код и веса модели опубликованы в открытом доступе.
Почему это важно
Робототехники смогут быстрее запускать модели VLA на устройствах с ограниченными ресурсами — это позволит выполнять манипуляции почти в реальном времени.
