# AbridgeKV reduziert den Cache für Reasoning-Modelle auf ein Viertel

> Laut den Forschern bleiben Genauigkeit und Ausgabelänge in einem Test mit 446 Aufgaben erhalten – bei 75 % weniger Cache für generierte Tokens.

Oossa · 2026-10-16 · https://oossa.com/de/abridgekv-shrinks-reasoning-model-cache-to-one-quarter

AbridgeKV ist ein Verfahren, das den Speicher-Cache komprimiert, den Sprachmodelle beim Generieren langer Schlussfolgerungsketten verwenden. In einer am 16. Oktober 2026 auf arXiv veröffentlichten Arbeit beschreiben die Autoren, wie sie Modelle darauf trainieren, abgeschlossene Textblöcke in wenigen erlernten Pause-Token zusammenzufassen und anschließend die ursprünglichen Cache-Einträge dieser Blöcke zu verwerfen.

Bei 446 Wettbewerbsaufgaben entsprach die Genauigkeit und Ausgabelänge mit einem Viertel des generierten Caches laut den Autoren denen eines identisch trainierten Modells mit vollständigem Cache. Außerdem berichten sie von einem 3,5-mal kleineren Cache pro Sequenz in vLLM und einer 3,2-mal schnelleren Bearbeitung der Aufgaben auf einem ausgelasteten H100. Das bereitgestellte Abstract nennt weder die Ergebnisse noch eine unabhängige Überprüfung.

## Die Fakten

- Testdatensatz: 446 Aufgaben von AIME, HMMT, AMC, BRUMO, CMIMC und SMT; die generierten Texte umfassten bis zu 32K Tokens.
- Laut den Autoren reduziert sich der Cache pro Sequenz im Vergleich zu einem vollständigen KV-Cache um das 3,5-Fache; auf einem ausgelasteten H100 werden Aufgaben 3,2-mal schneller bearbeitet.

## Warum es wichtig ist

Für Teams, die lange Reasoning-Aufgaben ausführen, könnte der gemeldete Rückgang des Cache-Bedarfs bedeuten, dass mehr Sequenzen in den Speicher passen. Das Abstract belegt jedoch keine Leistung über die getesteten Wettbewerbsaufgaben hinaus.

## Quellen und Referenzen

1. [AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens](https://arxiv.org/abs/2610.20641) – arXiv, 2026-10-16

Zuletzt aktualisiert: 2026-10-16