AbridgeKV é um método para comprimir o cache de memória usado enquanto modelos de linguagem geram longas cadeias de raciocínio. Em um artigo publicado no arXiv em 16 de outubro de 2026, os autores descrevem o treinamento de modelos para resumir blocos de texto concluídos em alguns tokens de pausa aprendidos e, em seguida, descartar as entradas de cache originais desses blocos.
Em 446 problemas de competição, os autores afirmam que manter um quarto do cache gerado igualou a precisão e o tamanho das respostas de um modelo treinado da mesma forma, mas com o cache completo. Eles também relatam um cache 3,5 vezes menor por sequência no vLLM e a resolução de problemas 3,2 vezes mais rápida em uma H100 saturada; o resumo fornecido não informa as pontuações nem identifica uma validação independente.
Por que importa
Para equipes que atendem tarefas longas de raciocínio, a redução de cache relatada pode permitir que mais sequências caibam na memória, mas o resumo não comprova o desempenho além dos testes com problemas de competição.
