Des chercheurs ont présenté Cambrian-BEV, une méthode qui projette les patches visuels d’une vidéo sur une grille commune en vue de dessus. Elle s’appuie sur la profondeur et la pose des caméras pour fusionner les observations d’un même lieu, quels que soient le point de vue et le moment. La méthode conserve la même architecture de modèle, mais remplace les tokens associés aux images par des tokens BEV disposés sur une grille de 27×27. Au test VSI-Bench, elle a obtenu un score de 63,48, soit 8,5 points de plus qu’une méthode de référence fondée sur des tokens d’image, tout en utilisant beaucoup moins de tokens.
Pourquoi c'est important
Cette méthode permet aux développeurs de créer des assistants d’IA vidéo plus rapides et moins gourmands en ressources, capables de raisonner plus fiablement dans l’espace.
