Pesquisadores propõem um codec de vídeo que usa os estados das juntas do robô, seu modelo e a calibração da câmera para prever como os movimentos do próprio robô alteram o que aparece na imagem. O sinal de movimento compartilhado não acrescenta bits ao vídeo e ajuda o codec a transmitir menos imagens por uma conexão com largura de banda limitada.
Em testes com o LIBERO, os pesquisadores relatam que o índice de sucesso do OpenVLA-OFT em tarefas subiu de 22.8% para 43.1% a 6 kbps, em comparação com um codec condicionado ao histórico. O trabalho é um preprint; os autores afirmam que o código e o material suplementar serão divulgados após a publicação formal.
Por que importa
Para equipes que executam políticas robóticas em servidores remotos, os ganhos relatados sugerem que a compressão de vídeo sensível ao movimento pode aumentar o sucesso em tarefas quando a largura de banda de upload da câmera é limitada; o desempenho no mundo real ainda precisa ser comprovado.
