Исследователи предложили видеокодек, который использует данные о положении суставов робота, его модель и калибровку камеры, чтобы предсказывать, как движения робота меняют изображение. Передаваемый сигнал о движении не требует дополнительных битов для видео и помогает отправлять меньше данных по каналу с ограниченной пропускной способностью.
В испытаниях LIBERO исследователи сообщили, что доля успешных выполнений задач моделью OpenVLA-OFT при скорости 6 kbps выросла с 22.8% до 43.1% по сравнению с кодеком, учитывающим историю кадров. Работа опубликована в виде препринта; авторы обещают выпустить код и дополнительные материалы после официальной публикации.
Почему это важно
Для команд, которые запускают алгоритмы управления роботами на удалённых серверах, полученные результаты указывают на то, что сжатие видео с учётом движения может повысить вероятность успешного выполнения задач при ограниченной пропускной способности канала передачи изображения с камеры. Эффективность метода в реальных условиях ещё предстоит проверить.
