研究人员提出了一种视频编码器,利用机器人的关节状态、模型和摄像头标定数据,预测机器人自身运动会如何改变摄像头画面。共享的运动信号不会增加视频比特数,还能帮助编码器在带宽有限的连接中减少视频传输量。
在 LIBERO 测试中,研究人员报告称,在 6 kbps 下,与一种基于历史信息的编码器相比,OpenVLA-OFT 的任务成功率从 22.8% 提高到 43.1%。这项研究目前是一篇预印本;作者表示,正式发表后将发布代码和补充材料。
为什么重要
对于在远程服务器上运行机器人策略的团队来说,报告中的提升表明,在摄像头上行带宽紧张时,利用运动信息的视频压缩有望提高任务成功率;其在现实环境中的表现仍有待验证。