# AKV de Tsinghua gestiona la memoria de agentes LLM desde la caché

> AKV permite descartar y reubicar contexto almacenado sin reescribir el historial de conversación. Sus autores informan de menores costos y un servicio más rápido en las pruebas.

Oossa · 2026-10-26 · https://oossa.com/es/tsinghua-s-akv-manages-llm-agent-memory-through-its-cache

Investigadores de Tsinghua publicaron en GitHub el código abierto de AKV, un sistema de gestión de caché para agentes LLM. En lugar de acortar o resumir la conversación del agente cuando se alarga, AKV le permite descartar información almacenada que ya no necesita y reubicar la que conserva. El proyecto se basa en SGLang, un software para ejecutar modelos de lenguaje, e incluye tanto un componente que elige las operaciones de caché como un sistema de servicio que las ejecuta.

La diferencia es importante porque el historial de un agente puede incluir muchas observaciones, llamadas a herramientas y sus resultados. Mantener todo eso en el contexto activo del modelo requiere almacenamiento y procesamiento. Sin embargo, editar mensajes anteriores puede obligar al sistema a recalcular el contexto posterior, un paso llamado «reprefill». Según el artículo sobre AKV, esto puede resultar costoso, mientras que eliminar demasiado historial puede perjudicar la precisión de las tareas. En cambio, AKV conserva intacto el historial de conversación y modifica a qué partes de la caché almacenada de claves y valores presta atención el modelo.

## ¿Cómo funciona AKV?

AKV ofrece a los agentes dos operaciones de caché. «Drop» excluye información seleccionada de la atención futura, mientras que «reposition» compacta las posiciones de la información que se conserva. En el ejemplo del proyecto, se mantiene el resultado más reciente de una herramienta, se descarta uno anterior cuando llega el nuevo y, luego, se reubica la caché restante. Los mensajes originales permanecen en la solicitud; el servidor de AKV aplica las instrucciones sobre la caché. Según el artículo, esto evita tener que volver a procesar el contexto conservado.

El sistema también debe tener en cuenta cómo se modificó la caché. El artículo señala que una misma secuencia de tokens de conversación puede dar lugar a distintos estados de caché si el agente utilizó operaciones diferentes. Por eso, un servidor no puede reutilizar la información almacenada de forma segura basándose solo en que coincida el prefijo de la conversación. AKV combina una política del lado del agente con un servidor basado en SGLang que gestiona la reutilización, eliminación y restauración de la caché. El proyecto indica que el servidor utiliza una interfaz sin estado compatible con las API de servicio existentes y gestiona internamente el estado de la caché.

## ¿Qué muestran las pruebas?

En los experimentos de los autores, una política de descarte progresivo de respuestas de herramientas elevó en 1,7 puntos la puntuación media en las pruebas de referencia y redujo en un 27,7 % el costo promedio frente a la generación de resúmenes activada por umbrales. El artículo también informa de hasta 1,2 veces más rendimiento de salida y una aceleración de 1,5 veces en la latencia de las solicitudes en el percentil 95. Otro método para mejorar las políticas de caché redujo los costos de forma recursiva en un 7,1 % frente a políticas diseñadas por expertos. Estos son resultados comunicados por los autores del artículo; los materiales proporcionados no informan de una replicación independiente.

Las instrucciones de GitHub describen cómo instalar AKV con Rust, Cargo y Python 3.12. El ejemplo de inicio rápido ejecuta GPT-OSS-120B a través de AKV y envía solicitudes en un formato de chat completions compatible con OpenAI. El proyecto también explica cómo integrar su política en un sistema de agentes existente, procesando las solicitudes antes de enviarlas al servidor. Los resultados informados abarcan cuatro pruebas de referencia para agentes, pero los materiales proporcionados no identifican esas pruebas ni ofrecen suficiente detalle para evaluar cómo se traducirían los ahorros a otros modelos o cargas de trabajo.

## Los hechos

- AKV es un proyecto de código abierto de ingeniería de caché basado en SGLang.
- El artículo informa de una reducción del costo promedio del 27,7 % y un aumento de 1,7 puntos en las puntuaciones de las pruebas de referencia frente a la generación de resúmenes activada por umbrales.
- Los mejores resultados comunicados para AKV incluyen un rendimiento de salida 1,2× mayor y una aceleración de 1,5× en la latencia de las solicitudes en el percentil 95.
- Las instrucciones de inicio rápido del proyecto utilizan GPT-OSS-120B y requieren Python 3.12.

## Por qué importa

Para los equipos que crean agentes que llaman repetidamente a herramientas, AKV ofrece una forma de descartar resultados antiguos de esas herramientas sin reescribir el historial de conversación. Los autores informan de menores costos en sus pruebas, pero que un equipo concreto obtenga ahorros similares dependerá de su modelo y carga de trabajo.

## Fuentes y referencias

1. [Tsinghua AI Open-Sources AKV, a Cache Engineering Server for LLM Agents on SGLang](https://www.marktechpost.com/2026/10/26/tsinghua-akv-kv-cache-engineering-llm-agents/) – MarkTechPost, 2026-10-26
2. [arXiv](https://arxiv.org/abs/2610.28577) – arXiv
3. [AKV project (thu-nics)](https://github.com/thu-nics/AKV) – AKV project (thu-nics)

Última actualización: 2026-10-26