Исследователи во главе с Каем Дином представили WAM-Cache — систему, которая повторно использует ключевые и векторные представления видеодиффузионного трансформера между блоками управления. Вместо того чтобы на каждом шаге заново обрабатывать данные целиком, система обновляет только небольшой набор токенов, отобранных с учётом внимания эксперта по действиям и меры визуальной неожиданности, при этом ограничивая срок их хранения. В тестах Fast-WAM система снижает количество операций с плавающей запятой видеокодировщика на 32–42% в RoboTwin 2.0, LIBERO и испытаниях в реальных условиях. При этом в симуляциях точность уступает базовой модели с полным пересчётом на 0,7–1,8 процентного пункта, а на реальном роботе — на 2,5 пункта.
Почему это важно
Разработчики робототехники смогут запускать высокопроизводительные алгоритмы манипуляции на более доступном оборудовании без существенного снижения успешности выполнения задач.
