AbridgeKV is een methode om de geheugencache te comprimeren die taalmodellen gebruiken wanneer ze lange redeneerketens genereren. In een paper die op 16 oktober 2026 op arXiv werd gepubliceerd, beschrijven de auteurs hoe ze modellen trainen om afgeronde tekstblokken samen te vatten in enkele aangeleerde pauzetokens, waarna de oorspronkelijke cachegegevens van die blokken worden verwijderd.
Bij 446 wedstrijdopgaven bleef de nauwkeurigheid en uitvoerlengte volgens de auteurs gelijk aan die van een identiek getraind model met een volledige cache, terwijl slechts een kwart van de gegenereerde cache werd bewaard. Ook melden ze dat de cache per reeks in vLLM 3,5 keer kleiner was en dat op een volledig bezette H100 problemen 3,2 keer sneller werden opgelost. Het meegeleverde abstract vermeldt geen scores en geeft niet aan of de resultaten onafhankelijk zijn gevalideerd.
Waarom het ertoe doet
Voor teams die lange redeneertaken uitvoeren, kan de gemelde cachebesparing betekenen dat er meer reeksen in het geheugen passen. Het abstract toont echter niet aan dat de prestaties ook buiten de tests met wedstrijdopgaven standhouden.
