AbridgeKV è un metodo per comprimere la cache di memoria utilizzata dai modelli linguistici durante la generazione di lunghe catene di ragionamento. In un articolo pubblicato su arXiv il 16 ottobre 2026, gli autori descrivono l’addestramento dei modelli a riassumere blocchi di testo completati in pochi token di pausa appresi, per poi eliminare le voci originali della cache relative a quei blocchi.
Su 446 problemi di competizioni, gli autori riferiscono che conservare un quarto della cache generata ha permesso di ottenere la stessa accuratezza e la stessa lunghezza delle risposte di un modello addestrato in modo identico con la cache completa. Riferiscono inoltre una cache 3,5 volte più piccola per sequenza in vLLM e tempi di completamento dei problemi 3,2 volte più rapidi su una H100 a pieno carico; l’abstract fornito non indica i punteggi né specifica se ci sia stata una convalida indipendente.
Perché conta
Per i team che gestiscono attività di ragionamento lunghe, la riduzione della cache riportata potrebbe consentire di mantenere in memoria più sequenze. L’abstract, tuttavia, non dimostra prestazioni superiori al di fuori dei test su problemi di competizione.
