Eine neue arXiv-Studie stellt MEMENTO vor, einen KI-Agenten, der darauf trainiert wurde, bei der Verarbeitung sehr langer Texte zu entscheiden, welche Informationen wichtig sind. Bei Tests mit Fragen zu Büchern stieg die Genauigkeit von Qwen3-8B mit dem System von 36.9% auf 67.8%. Dabei nutzte es jeweils höchstens 20,000 Tokens Kontext. Die getesteten Bücher waren bis zu 2.5 Millionen Tokens lang.
Der Ansatz geht ein grundlegendes Problem von KI-Systemen an: Sie können nicht immer eine ganze lange Unterhaltung oder ein umfangreiches Dokument im Arbeitskontext behalten. Eine gängige Lösung, genannt Komprimierung, ersetzt frühere Inhalte durch eine kürzere Notiz. Laut der Studie verfassen Standard-Agenten wie GPT-5.5 und GLM-5.3 häufig schlechte Notizen. Auch durch Reinforcement Learning allein lernten sie nur selten, wirksam Notizen zu erstellen.
So verwaltet MEMENTO den Kontext
MEMENTO basiert auf Qwen3-8B. Das Training begann mit synthetischen Beispielen, bei denen Notizen im Nachhinein erstellt wurden. Anschließend wurde das Modell anhand dieser Beispiele feinabgestimmt. Das Team ergänzte Reinforcement Learning – eine Methode, bei der ein Modell durch Rückmeldungen verbessert wird – und vergab dafür Belohnungen, die von der Richtigkeit der Antworten, der Qualität der Notizen und der Übereinstimmung zwischen der Selbsteinschätzung des Agenten und seiner tatsächlichen Leistung abhingen.
Das System wurde darauf trainiert, seinen bisherigen Verlauf in einem neuen Kontextfenster zusammenzufassen. Beim Testen nutzte es laut Studie jedoch auch Ansätze wie das Zurückführen von Informationen in den Kontext und das erneute Aufgreifen früherer Inhalte, wenn die Zuversicht gering war. So kann der Agent umfangreiche Bücher durcharbeiten, ohne den gesamten Text in seinen aktiven Kontext laden zu müssen.
Was die Ergebnisse zeigen
Über vier Benchmarks für Fragen zu Büchern hinweg erzielte MEMENTO laut Studie 67.8%. Zum Vergleich: Ein GPT-5.5-Agent kam im selben Testaufbau auf 13.1%, ein Vergleichssystem mit dem vollständigen Buchkontext auf 56.7%. Gegenüber einem als rund 100-mal größer beschriebenen GLM-5.3-Agenten erreichte MEMENTO 69.3%. Laut Studie kostete MEMENTO weniger als ein Fünfzigstel des GPT-5.5-Agenten und ein Neuntel des GLM-5.3-Agenten. Mit vollständigem Buchkontext lag es nur 6.4 Prozentpunkte hinter GLM-5.3 – bei einem Sechsundzwanzigstel der Kosten.
Dabei handelt es sich um Ergebnisse der Studienautoren, nicht um einen Beleg dafür, dass MEMENTO bei anderen Aufgaben oder Dokumenten ebenso gut abschneidet. Das Abstract nennt weder die Namen der Benchmarks noch konkrete Kosten in Dollar oder Einzelheiten dazu, ob das Modell öffentlich zugänglich ist. Die Ergebnisse beziehen sich speziell auf Fragen zu Büchern und den in der Studie beschriebenen Testaufbau.
Warum es wichtig ist
Für alle, die KI-Werkzeuge für Fragen zu langen Büchern entwickeln, deutet MEMENTO darauf hin, dass erlernte Notiztechnik die Textmenge verringern kann, die ein Modell gleichzeitig im Kontext halten muss. Die berichteten Fortschritte beschränken sich auf Tests mit Fragen zu Büchern. Ob die Methode auch bei anderen langen Dokumenten oder im Alltag hilft, ist daher noch unklar.
