AbridgeKV ist ein Verfahren, das den Speicher-Cache komprimiert, den Sprachmodelle beim Generieren langer Schlussfolgerungsketten verwenden. In einer am 16. Oktober 2026 auf arXiv veröffentlichten Arbeit beschreiben die Autoren, wie sie Modelle darauf trainieren, abgeschlossene Textblöcke in wenigen erlernten Pause-Token zusammenzufassen und anschließend die ursprünglichen Cache-Einträge dieser Blöcke zu verwerfen.
Bei 446 Wettbewerbsaufgaben entsprach die Genauigkeit und Ausgabelänge mit einem Viertel des generierten Caches laut den Autoren denen eines identisch trainierten Modells mit vollständigem Cache. Außerdem berichten sie von einem 3,5-mal kleineren Cache pro Sequenz in vLLM und einer 3,2-mal schnelleren Bearbeitung der Aufgaben auf einem ausgelasteten H100. Das bereitgestellte Abstract nennt weder die Ergebnisse noch eine unabhängige Überprüfung.
Warum es wichtig ist
Für Teams, die lange Reasoning-Aufgaben ausführen, könnte der gemeldete Rückgang des Cache-Bedarfs bedeuten, dass mehr Sequenzen in den Speicher passen. Das Abstract belegt jedoch keine Leistung über die getesteten Wettbewerbsaufgaben hinaus.
