AbridgeKV es un método para comprimir la caché de memoria que usan los modelos de lenguaje al generar cadenas largas de razonamiento. En un artículo publicado en arXiv el 16 de octubre de 2026, sus autores describen cómo entrenan modelos para resumir bloques de texto ya completados mediante unos pocos tokens de pausa aprendidos y, después, descartar las entradas originales de la caché correspondientes a esos bloques.
En 446 problemas de competición, los autores afirman que conservar una cuarta parte de la caché generada igualó la precisión y la longitud de las respuestas de un modelo entrenado de forma idéntica con la caché completa. También informan de una caché 3,5 veces menor por secuencia en vLLM y de una resolución de problemas 3,2 veces más rápida en una H100 saturada; el resumen proporcionado no incluye las puntuaciones ni identifica una validación independiente.
Por qué importa
Para los equipos que ejecutan tareas de razonamiento largas, la reducción de caché reportada podría permitir alojar más secuencias en memoria, aunque el resumen no demuestra un rendimiento superior fuera de las pruebas con problemas de competición.
