Oossa

MEMENTO beantwoordt vragen over lange boeken met korte notities

Volgens een artikel op arXiv verhoogde MEMENTO de nauwkeurigheid van Qwen3-8B bij vragen over boeken, terwijl het de actieve context onder de 20.000 tokens hield.

Door Gepubliceerd door Oossa: 2 min lezen

JESHOOTS.COM · Unsplash

Een nieuw artikel op arXiv beschrijft MEMENTO, een AI-agent die is getraind om te bepalen welke informatie hij moet bewaren bij het verwerken van zeer lange teksten. Bij tests met vragen over boeken verhoogde het systeem de nauwkeurigheid van Qwen3-8B van 36,9% naar 67,8%, terwijl het per keer niet meer dan 20.000 tokens aan context gebruikte. De boeken in de tests waren maximaal 2,5 miljoen tokens lang.

De methode pakt een fundamenteel probleem van AI-systemen aan: ze kunnen niet altijd een volledig lang gesprek of document in hun actieve context bewaren. Een veelgebruikte oplossing, compactie genoemd, vervangt eerder materiaal door een kortere notitie. Volgens het artikel maken kant-en-klare agents, waaronder GPT-5.5 en GLM-5.3, vaak slechte notities. Ook leert een model volgens de auteurs met reinforcement learning alleen zelden effectief notities maken.

Zo beheert MEMENTO de context

MEMENTO is gebaseerd op Qwen3-8B. De training begon met synthetische voorbeelden waarin notities achteraf werden opgesteld. Vervolgens werd het model met die voorbeelden verder getraind. Het team voegde reinforcement learning toe, een methode waarbij een model leert van feedback. De beloning was gebaseerd op de juistheid van antwoorden, de kwaliteit van notities en de mate waarin het zelfvertrouwen van de agent overeenkwam met zijn prestaties.

Het systeem werd getraind om de eerdere context samen te vatten in een nieuw contextvenster. Tijdens tests gebruikte het volgens het artikel echter ook technieken zoals informatie opnieuw in de context opnemen en eerder materiaal raadplegen wanneer het weinig vertrouwen had in zijn antwoord. Zo kan de agent lange boeken verwerken zonder de volledige tekst in zijn actieve context te laden.

Wat de resultaten laten zien

Op vier benchmarks voor vraagbeantwoording over boeken behaalde MEMENTO volgens het artikel een score van 67,8%. Ter vergelijking: een GPT-5.5-agent scoorde 13,1% in dezelfde testopzet en een systeem met de volledige boektekst in de context 56,7%. MEMENTO scoorde ook 69,3%, tegenover een GLM-5.3-agent die volgens de beschrijving ongeveer 100 keer zo groot is. Volgens het artikel kostte MEMENTO minder dan een vijftigste van de GPT-5.5-agent en een negende van de GLM-5.3-agent. Met de volledige boektekst in de context kwam het binnen 6,4 procentpunt van GLM-5.3, tegen een zesentwintigste van de kosten.

Dit zijn resultaten die de auteurs van het artikel rapporteren; ze bewijzen niet dat MEMENTO bij andere taken of documenten dezelfde prestaties zal leveren. In de samenvatting staan geen namen van de benchmarks, bedragen in dollars of details over openbare toegang tot het model. De bevindingen gelden specifiek voor vraagbeantwoording over boeken en de testopzet die in het artikel wordt beschreven.

Waarom het ertoe doet

Voor ontwikkelaars van AI-tools die vragen over lange boeken moeten beantwoorden, suggereert MEMENTO dat aangeleerde vaardigheden om notities te maken kunnen beperken hoeveel tekst een model tegelijk hoeft vast te houden. De gerapporteerde verbeteringen gelden alleen voor tests met vragen over boeken; het is dus nog onduidelijk of de methode ook helpt bij andere lange documenten of alledaagse toepassingen.

Was dit artikel nuttig?
Delen

Lees ook

Oossa · Nieuwsbrief

De AI-week, uitgelegd

Elke maandag: het nieuws dat ertoe doet, in gewone taal. Gratis, geen spam.