I ricercatori hanno presentato Periscope, un metodo che permette a un modello linguistico congelato di cercare in testi molto lunghi senza riaddestrarlo. La tecnica divide il documento in blocchi, li dispone su una griglia quadrata e chiede al modello di valutare due tipi di sequenze: gruppi locali di blocchi consecutivi e gruppi a intervalli regolari, che campionano l’intero testo. Combinando i punteggi ottenuti, Periscope crea una «mappa delle evidenze» che individua il blocco con maggiori probabilità di contenere la risposta. Per ogni interrogazione servono solo circa √(s·c) token, dove s è la lunghezza del documento e c quella del blocco, invece di leggere tutto il testo in un unico passaggio.
Quanto è efficace?
Nel benchmark LongBench v2, la mappa di Periscope ha ottenuto il punteggio più alto leggendo solo 9 000 token, eguagliando le migliori prestazioni della lettura a finestre dello stesso modello su finestre da 32 000 a 1 000 000 di token. Su InfiniteBench, dove i documenti hanno una lunghezza mediana di circa 150 000 token, il metodo ha superato di cinque punti il miglior risultato della lettura a finestre. Ha inoltre ottenuto il punteggio NDCG@10 più alto tra sei metodi sui corpora di documenti lunghi di BRIGHT.
Perché è utile
Con Periscope, un modello da 27 miliardi di parametri può gestire contesti da 4,5 milioni di token su una singola GPU da 80 GB. In precedenza, per una singola passata su una quantità di testo simile sarebbero serviti circa 296 GB di memoria GPU solo per memorizzare nella cache i token. Gli utenti possono così interrogare documenti molto lunghi su hardware meno costoso: la GPU deve contenere il modello, non l’intero testo.
Perché conta
Per sviluppatori e ricercatori, Periscope riduce i costi hardware per lavorare con documenti molto lunghi e consente di analizzare contesti più ampi con GPU standard. Per gli utenti finali, potrebbe tradursi in servizi più rapidi ed economici per cercare o riassumere grandi quantità di testo, come archivi legali o letteratura scientifica. È ancora necessaria una verifica indipendente al di fuori dei benchmark dello studio.
