En ny artikel på arXiv presenterar MEMENTO, en AI-agent som tränats i att avgöra vilken information den ska spara när den arbetar med mycket långa texter. I tester med frågor om böcker höjde systemet Qwen3-8B:s träffsäkerhet från 36,9 % till 67,8 %, samtidigt som det aldrig använde mer än 20 000 token i kontexten åt gången. Böckerna i testerna var upp till 2,5 miljoner token långa.
Metoden tar sig an ett grundläggande problem för AI-system: de kan inte alltid behålla en hel lång konversation eller ett helt dokument i sin aktiva kontext. En vanlig lösning, som kallas komprimering, är att ersätta tidigare material med en kortare anteckning. Enligt artikeln gör färdiga AI-agenter, däribland GPT-5.5 och GLM-5.3, ofta bristfälliga anteckningar, och enbart förstärkningsinlärning lär dem sällan att anteckna effektivt.
Så hanterar MEMENTO kontexten
MEMENTO bygger på Qwen3-8B. Träningen började med syntetiska exempel där anteckningar skapades i efterhand. Dessa exempel användes sedan för att finjustera modellen. Teamet lade till förstärkningsinlärning, en metod där en modell förbättras med hjälp av återkoppling, med en belöning som baserades på svarens korrekthet, anteckningarnas kvalitet och hur väl agentens självsäkerhet stämde överens med dess resultat.
Systemet tränades i att sammanfatta sin historik till ett nytt kontextfönster. Vid testning använde det dock också metoder som att föra tillbaka information till kontexten och återvända till tidigare material när självsäkerheten var låg, skriver artikeln. Strategierna hjälper agenten att gå igenom långa böcker utan att hela texten behöver ligga i den aktiva kontexten.
Vad resultaten visar
På fyra testuppsättningar för frågor och svar om böcker fick MEMENTO enligt artikeln 67,8 %, jämfört med 13,1 % för en GPT-5.5-agent i samma testupplägg och 56,7 % i en jämförelse där hela boken fanns i kontexten. MEMENTO fick också 69,3 % mot en GLM-5.3-agent som beskrivs som ungefär 100 gånger större. Enligt artikeln kostade MEMENTO mindre än en femtiondel så mycket som GPT-5.5-agenten och en niondel så mycket som GLM-5.3-agenten. Resultatet låg 6,4 procentenheter under GLM-5.3 med hela boken i kontexten, till en tjugosjättedel av kostnaden.
Det här är resultat som artikelns författare rapporterar, inte belägg för att MEMENTO skulle prestera likadant på andra uppgifter eller dokument. Sammanfattningen anger inte namnen på testuppsättningarna, kostnaderna i dollar eller om modellen är offentligt tillgänglig. Resultaten gäller specifikt frågor och svar om böcker och det testupplägg som beskrivs i artikeln.
Varför det spelar roll
För den som bygger AI-verktyg som ska kunna svara på frågor om långa böcker tyder MEMENTO på att inlärd anteckningsteknik kan minska mängden text som modellen behöver hålla aktivt samtidigt. De redovisade förbättringarna gäller frågor om böcker, så det är fortfarande oklart om metoden fungerar för andra långa dokument eller i vardagliga situationer.
