AbridgeKV är en metod för att komprimera minnescachen som används när språkmodeller genererar långa resonemangskedjor. I en artikel som publicerades på arXiv den 16 oktober 2026 beskriver författarna hur modeller tränas att sammanfatta avslutade textblock med några få inlärda paustoken och sedan kasta bort blockens ursprungliga cacheposter.
På 446 tävlingsproblem uppger författarna att en fjärdedel av den genererade cachen gav samma träffsäkerhet och svarslängd som en modell som tränats på samma sätt men använde hela cachen. De rapporterar också 3,5 gånger mindre cache per sekvens i vLLM och att problem löstes 3,2 gånger snabbare på en fullbelastad H100. Det medföljande sammandraget anger inte resultaten och identifierar ingen oberoende validering.
Varför det spelar roll
För team som kör långa resonemangsuppgifter kan den rapporterade cacheminskningen innebära att fler sekvenser ryms i minnet. Sammandraget visar dock inte att prestandan håller utanför testerna med tävlingsproblem.
