Cambrian-BEV、俯瞰視点トークンで動画推論を高速化

研究者らは、動画の視覚パッチを共通の俯瞰視点グリッドに対応づける手法「Cambrian-BEV」を発表した。深度とカメラの姿勢を使って、視点や時間にかかわらず、同じ場所についての観測情報を統合する。モデルのアーキテクチャはそのままに、フレームトークンを27×27のBEVトークンに置き換える。VSI-Benchのテストでは63.48点を記録。トークン数を大幅に減らしながら、フレームトークンを使うベースラインを8.5ポイント上回った。