Araştırmacılar, videodaki görsel parçaları ortak bir kuşbakışı görünüm ızgarasına aktaran Cambrian-BEV’yi tanıttı. Yöntem, bakış açısı veya zaman fark etmeksizin aynı yere ait gözlemleri birleştirmek için derinlik ve kamera konumunu kullanıyor. Model mimarisini değiştirmeden kare token’larının yerine 27×27 boyutunda BEV token’ları koyuyor. VSI-Bench testinde 63,48 puan alan yöntem, çok daha az token kullanmasına rağmen kare token’ı temel yöntemini 8,5 puan geride bıraktı.
Neden önemli
Bu yöntem, geliştiricilerin mekânsal konularda daha güvenilir akıl yürütebilen, daha hızlı ve daha hafif video tabanlı yapay zekâ asistanları geliştirmesini sağlıyor.
