Onderzoekers introduceerden Periscope, een manier om een taalmodel dat niet opnieuw is getraind zeer lange teksten te laten doorzoeken. De techniek verdeelt een document in stukken, rangschikt die op een vierkant raster en laat het model twee soorten tekstsegmenten beoordelen: lokale groepen opeenvolgende stukken en groepen met tussenruimtes, die de hele tekst bemonsteren. Door de scores van deze segmenten te combineren, maakt Periscope een ‘bewijskaart’ die aangeeft welk stuk waarschijnlijk het antwoord bevat. Per zoekopdracht zijn daarvoor slechts ongeveer √(s·c) tokens nodig, waarbij s de documentlengte is en c de grootte van een stuk. Het model hoeft dus niet de hele tekst in één keer te verwerken.
Hoe goed werkt het?
Op de benchmark LongBench v2 stond de kaart van Periscope bovenaan bij het verwerken van slechts 9 000 tokens. Dat was even goed als de beste resultaten van hetzelfde model bij het doorzoeken van vensters van 32 000 tot 1 000 000 tokens. Op InfiniteBench, waar een document gemiddeld ongeveer 150 000 tokens telt, scoorde de methode vijf punten hoger dan de beste aanpak waarbij een venster wordt doorzocht. Ook behaalde Periscope de hoogste NDCG@10-score van zes methoden op de corpora met lange documenten van BRIGHT.
Waarom dit belangrijk is voor gebruikers
Met Periscope kan een model met 27 miljard parameters contexten van 4,5 miljoen tokens verwerken op één GPU van 80 GB. Voorheen zou één enkele doorloop van zo’n lange tekst ongeveer 296 GB GPU-geheugen nodig hebben om alleen al de tokens in het geheugen te bewaren. Daardoor kunnen gebruikers vragen stellen over zeer lange documenten met goedkopere hardware: de GPU hoeft alleen het model op te slaan, niet de volledige tekst.
Waarom het ertoe doet
Voor ontwikkelaars en onderzoekers verlaagt Periscope de hardwarekosten voor het werken met zeer lange documenten, zodat ze grotere contexten kunnen analyseren op gangbare GPU’s. Voor eindgebruikers kan dit leiden tot snellere, goedkopere diensten die enorme hoeveelheden tekst moeten doorzoeken of samenvatten, zoals juridische archieven of wetenschappelijke literatuur. Onafhankelijke bevestiging buiten de benchmarks in het onderzoek moet nog volgen.
