Forskare har introducerat Periscope, en metod som låter en fryst språkmodell söka i mycket långa texter utan att modellen behöver tränas om. Metoden delar upp ett dokument i delar och placerar dem i ett kvadratiskt rutnät. Sedan får modellen utvärdera två typer av textspann: lokala grupper av sammanhängande delar och grupper med mellanrum som tar stickprov från hela texten. Genom att kombinera poängen för dessa spann skapar Periscope en ”evidenskarta” som pekar ut den del där svaret sannolikast finns. För varje sökning behövs bara omkring √(s·c) token, där s är dokumentets längd och c är storleken på varje del, i stället för att läsa hela texten i ett svep.
Hur bra fungerar det?
På benchmarktestet LongBench v2 hamnade Periscopes karta högst när metoden bara läste 9 000 token. Det motsvarade det bästa resultatet för samma modell när den läste texten i fönster på mellan 32 000 och 1 000 000 token. På InfiniteBench, där dokumenten har en medianlängd på omkring 150 000 token, slog metoden den bästa fönsterläsningen med fem poäng. Den fick också högst NDCG@10-poäng av sex metoder på BRIGHT:s samlingar av långa dokument.
Därför spelar det roll för användarna
Med Periscope kan en modell med 27 miljarder parametrar hantera sammanhang på 4,5 miljoner token på en enda GPU med 80 GB minne. Tidigare skulle ett enda genomlopp av så mycket text ha krävt omkring 296 GB GPU-minne bara för att lagra tokenen i cache. Det innebär att användare kan söka i mycket långa dokument med billigare hårdvara, eftersom GPU:n bara behöver lagra modellen, inte hela texten.
Varför det spelar roll
För utvecklare och forskare minskar Periscope hårdvarukostnaden för att arbeta med mycket långa dokument och gör det möjligt att analysera längre sammanhang på vanliga GPU:er. För slutanvändare kan det leda till snabbare och billigare tjänster som söker i eller sammanfattar mycket stora textmängder, till exempel juridiska arkiv eller forskningslitteratur. Oberoende bekräftelse utöver resultaten i artikelns benchmarktester saknas fortfarande.
