Onderzoekers introduceerden Cambrian-BEV, een methode die visuele fragmenten uit video afbeeldt op één gedeeld raster vanuit vogelperspectief. De methode gebruikt diepte en camerastandpunten om waarnemingen van dezelfde plek samen te voegen, ongeacht het perspectief of het tijdstip. De modelarchitectuur blijft hetzelfde, maar frametokens worden vervangen door BEV-tokens in een raster van 27×27. Op de VSI-Bench-test behaalde het model een score van 63,48: 8,5 punten hoger dan een model dat frametokens gebruikt, terwijl het veel minder tokens nodig heeft.
Waarom het ertoe doet
Zo kunnen ontwikkelaars snellere, lichtere AI-assistenten op basis van video bouwen die betrouwbaarder ruimtelijk kunnen redeneren.
