# AbridgeKV brengt cache voor redeneermodellen terug tot een kwart

> Volgens de onderzoekers behoudt AbridgeKV de nauwkeurigheid en uitvoerlengte met 75% minder cache voor gegenereerde tokens, getest op 446 problemen.

Oossa · 2026-10-16 · https://oossa.com/nl/abridgekv-shrinks-reasoning-model-cache-to-one-quarter

AbridgeKV is een methode om de geheugencache te comprimeren die taalmodellen gebruiken wanneer ze lange redeneerketens genereren. In een paper die op 16 oktober 2026 op arXiv werd gepubliceerd, beschrijven de auteurs hoe ze modellen trainen om afgeronde tekstblokken samen te vatten in enkele aangeleerde pauzetokens, waarna de oorspronkelijke cachegegevens van die blokken worden verwijderd.

Bij 446 wedstrijdopgaven bleef de nauwkeurigheid en uitvoerlengte volgens de auteurs gelijk aan die van een identiek getraind model met een volledige cache, terwijl slechts een kwart van de gegenereerde cache werd bewaard. Ook melden ze dat de cache per reeks in vLLM 3,5 keer kleiner was en dat op een volledig bezette H100 problemen 3,2 keer sneller werden opgelost. Het meegeleverde abstract vermeldt geen scores en geeft niet aan of de resultaten onafhankelijk zijn gevalideerd.

## De feiten

- Testset: 446 opgaven van AIME, HMMT, AMC, BRUMO, CMIMC en SMT, met generaties tot 32K tokens.
- Volgens de auteurs is de cache per reeks 3,5× kleiner en worden problemen op een volledig bezette H100 3,2× sneller opgelost dan met een volledige KV-cache.

## Waarom het ertoe doet

Voor teams die lange redeneertaken uitvoeren, kan de gemelde cachebesparing betekenen dat er meer reeksen in het geheugen passen. Het abstract toont echter niet aan dat de prestaties ook buiten de tests met wedstrijdopgaven standhouden.

## Bronnen en referenties

1. [AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens](https://arxiv.org/abs/2610.20641) – arXiv, 2026-10-16

Laatst bijgewerkt: 2026-10-16