# AbridgeKV krymper resonemangsmodellens cache till en fjärdedel

> Forskarna uppger att AbridgeKV bevarar träffsäkerhet och svarslängd med 75 % mindre cache för genererade token i ett test med 446 problem.

Oossa · 2026-10-16 · https://oossa.com/sv/abridgekv-shrinks-reasoning-model-cache-to-one-quarter

AbridgeKV är en metod för att komprimera minnescachen som används när språkmodeller genererar långa resonemangskedjor. I en artikel som publicerades på arXiv den 16 oktober 2026 beskriver författarna hur modeller tränas att sammanfatta avslutade textblock med några få inlärda paustoken och sedan kasta bort blockens ursprungliga cacheposter.

På 446 tävlingsproblem uppger författarna att en fjärdedel av den genererade cachen gav samma träffsäkerhet och svarslängd som en modell som tränats på samma sätt men använde hela cachen. De rapporterar också 3,5 gånger mindre cache per sekvens i vLLM och att problem löstes 3,2 gånger snabbare på en fullbelastad H100. Det medföljande sammandraget anger inte resultaten och identifierar ingen oberoende validering.

## Fakta

- Testmängd: 446 problem från AIME, HMMT, AMC, BRUMO, CMIMC och SMT, med genereringar på upp till 32K token.
- Författarna rapporterar 3,5× mindre cache per sekvens och 3,2× snabbare problemlösning på en fullbelastad H100 jämfört med fullständig KV-cache.

## Varför det spelar roll

För team som kör långa resonemangsuppgifter kan den rapporterade cacheminskningen innebära att fler sekvenser ryms i minnet. Sammandraget visar dock inte att prestandan håller utanför testerna med tävlingsproblem.

## Källor och referenser

1. [AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens](https://arxiv.org/abs/2610.20641) – arXiv, 2026-10-16

Senast uppdaterad: 2026-10-16