Periscope ajuda modelos congelados a analisar textos longos

Pesquisadores apresentaram o Periscope, uma forma de fazer um modelo de linguagem congelado buscar informações em textos muito longos sem retreiná-lo. A técnica divide um documento em blocos, organiza-os em uma grade quadrada e pede ao modelo que avalie dois tipos de trechos: grupos locais de blocos consecutivos e grupos espaçados que percorrem o texto todo. Ao combinar as pontuações desses trechos, o Periscope cria um “mapa de evidências” que aponta para o bloco com maior probabilidade de conter a resposta. Todo o processo exige apenas cerca de √(s·c) tokens por consulta, em que s é o tamanho do documento e c é o tamanho do bloco, em vez de ler todo o texto de uma só vez.

Qual é o desempenho?

No benchmark LongBench v2, o mapa do Periscope ficou em primeiro lugar usando apenas 9 000 tokens, igualando o melhor desempenho de leitura por janela do mesmo modelo em janelas de 32 000 a 1 000 000 tokens. No InfiniteBench, em que os documentos têm mediana de cerca de 150 000 tokens, o método superou em cinco pontos a melhor leitura por janela. Também obteve a maior pontuação NDCG@10 entre seis métodos nos corpora de documentos longos do BRIGHT.

Por que isso importa para os usuários

O Periscope permite que um modelo com 27 billion de parâmetros processe contextos de 4.5 million de tokens em uma única GPU de 80 GB. Antes, uma única passagem por todo esse texto exigiria cerca de 296 GB de memória de GPU apenas para armazenar os tokens em cache. Isso significa que os usuários podem fazer consultas sobre documentos muito longos em equipamentos mais baratos, já que a GPU precisa armazenar apenas o modelo, e não o texto inteiro.