Исследователи представили Cambrian-BEV — метод, который объединяет визуальные фрагменты из видео на общей сетке с видом сверху. Для этого он использует данные о глубине и положении камеры, сводя воедино наблюдения одного и того же места независимо от ракурса и времени. Архитектура модели остаётся прежней, но вместо токенов кадров используются токены BEV размером 27×27. В тесте VSI-Bench метод набрал 63.48 — на 8.5 балла больше, чем базовая модель с токенами кадров, при этом используя гораздо меньше токенов.
Почему это важно
Это позволит разработчикам создавать более быстрых и лёгких ИИ-помощников, работающих с видео и надёжнее рассуждающих о пространстве.
