Oossa

Cambrian-BEV acelera a análise de vídeos com tokens em visão aérea

Um novo método de tokenização comprime 128 quadros de vídeo em 729 tokens espaciais, reduzindo em 2,9× o tempo de pré-preenchimento do LLM e em 3,6× o uso de memória.

NotaPor Publicado pelo Oossa: 1 min de leitura

Pesquisadores apresentaram o Cambrian-BEV, um método que mapeia recortes visuais de vídeos em uma grade compartilhada com visão aérea. Ele usa profundidade e a posição da câmera para combinar observações do mesmo lugar, independentemente do ponto de vista ou do momento. O método mantém a mesma arquitetura do modelo, mas substitui os tokens de quadros por tokens BEV em uma grade de 27×27. No teste VSI-Bench, obteve 63,48 pontos — 8,5 pontos a mais que uma configuração de referência baseada em tokens de quadros, usando muito menos tokens.

Por que importa

Isso permite que desenvolvedores criem assistentes de IA baseados em vídeo mais rápidos e leves, capazes de raciocinar sobre o espaço com mais confiabilidade.

Este artigo foi útil?
Compartilhar

Leia a seguir

Oossa · Newsletter

A semana em IA, explicada

Toda segunda-feira: as notícias que valem a pena, em linguagem simples. Grátis, sem spam.