研究人员推出了Cambrian-BEV，可将视频中的视觉图块映射到统一的鸟瞰网格中。它利用深度信息和相机姿态，合并来自不同视角或时间、但对应同一地点的观测。该方法保留原有模型架构，只将帧Token替换为27×27的BEV Token。在VSI-Bench测试中，它的得分为63.48，比使用帧Token的基准模型高8.5分，同时所用Token大幅减少。
为什么重要
它能帮助开发者打造更快、更轻量的视频AI助手，并提升其空间推理能力。
Cambrian-BEV用鸟瞰图Token加速视频推理
一种新的Token化方法可将128帧视频压缩为729个空间Token，使LLM预填充时间缩短至原来的1/2.9，内存占用降至原来的1/3.6。
简讯作者： OossaOossa 发布日期: 1 分钟阅读
继续阅读
Oossa · 新闻简报
一周 AI，讲明白
每周一，用通俗的语言讲清值得知道的新闻。免费，无垃圾邮件。