I ricercatori hanno presentato Cambrian-BEV, un metodo per proiettare le porzioni visive dei video su una griglia condivisa vista dall’alto. Usa la profondità e la posizione della videocamera per unire le osservazioni dello stesso luogo, indipendentemente dal punto di vista o dal momento. Il metodo mantiene invariata l’architettura del modello, ma sostituisce i token dei fotogrammi con token BEV disposti su una griglia 27×27. Nel test VSI-Bench ha ottenuto 63.48, 8.5 punti in più rispetto a un sistema di riferimento basato sui token dei fotogrammi, usando molti meno token.
Perché conta
Permette agli sviluppatori di creare assistenti IA basati sui video più veloci e leggeri, capaci di ragionare sullo spazio con maggiore affidabilità.
