Investigadores presentaron Periscope, un método que permite a un modelo de lenguaje congelado buscar en textos muy extensos sin volver a entrenarlo. La técnica divide un documento en fragmentos, los organiza en una cuadrícula y pide al modelo que evalúe dos tipos de segmentos: grupos locales de fragmentos consecutivos y grupos espaciados que toman muestras de todo el texto. Al combinar las puntuaciones de esos segmentos, Periscope crea un «mapa de evidencia» que señala el fragmento con más probabilidades de contener la respuesta. Cada sondeo requiere apenas unos √(s·c) tokens, donde s es la longitud del documento y c el tamaño de los fragmentos, en lugar de leer todo el texto de una sola vez.
¿Qué tan bien funciona?
En el benchmark LongBench v2, el mapa de Periscope obtuvo la clasificación más alta leyendo solo 9 000 tokens, igualando el mejor rendimiento de lectura por ventanas del mismo modelo con ventanas de entre 32 000 y 1 000 000 tokens. En InfiniteBench, donde los documentos tienen una mediana de unos 150 000 tokens, el método superó por cinco puntos a la mejor lectura por ventanas. También logró la puntuación NDCG@10 más alta entre seis métodos en los corpus de documentos extensos de BRIGHT.
Por qué les importa a los usuarios
Periscope permite que un modelo de 27 000 millones de parámetros procese contextos de 4,5 millones de tokens en una sola GPU de 80 GB. Antes, una sola pasada sobre tanto texto habría requerido alrededor de 296 GB de memoria GPU solo para almacenar en caché los tokens. Esto permite a los usuarios hacer consultas sobre documentos muy extensos con hardware más económico, ya que la GPU solo necesita almacenar el modelo, no todo el texto.
Por qué importa
Para desarrolladores e investigadores, Periscope reduce el coste de hardware de trabajar con documentos muy extensos y permite analizar contextos más largos en GPU convencionales. Para los usuarios, esto podría traducirse en servicios más rápidos y económicos para buscar o resumir textos enormes, como archivos jurídicos o publicaciones científicas. Aún falta una validación independiente más allá de los benchmarks del artículo.
