# AKV, da Tsinghua, gerencia a memória de agentes de IA pelo cache

> O AKV permite que agentes descartem e reorganizem o contexto armazenado sem reescrever o histórico da conversa. Seus autores relatam custos menores e respostas mais rápidas nos testes.

Oossa · 2026-10-26 · https://oossa.com/pt/tsinghua-s-akv-manages-llm-agent-memory-through-its-cache

Pesquisadores da Tsinghua disponibilizaram no GitHub o AKV, um sistema de gerenciamento de cache para agentes de IA baseados em LLMs. Em vez de encurtar ou resumir a conversa do agente quando ela fica longa, o AKV permite descartar informações armazenadas específicas e reorganizar o que permanece. O projeto é baseado no SGLang, um software para executar modelos de linguagem, e inclui tanto um componente que escolhe as operações de cache quanto um sistema de atendimento que as executa.

Essa diferença importa porque o histórico de um agente pode conter muitas observações, chamadas de ferramentas e resultados dessas chamadas. Manter tudo isso no contexto ativo do modelo exige armazenamento e processamento. Mas editar mensagens anteriores pode fazer o sistema recalcular o contexto posterior, uma etapa chamada pré-preenchimento (prefilling) novamente. O artigo sobre o AKV afirma que isso pode ser caro, enquanto remover histórico demais pode prejudicar a precisão nas tarefas. Em vez disso, o AKV mantém intacto o histórico da conversa e altera quais partes do cache de pares chave-valor armazenado são consideradas pelo modelo.

## Como o AKV funciona?

O AKV oferece aos agentes duas operações de cache. “Drop” exclui informações selecionadas das consultas futuras, enquanto “reposition” compacta as posições das informações mantidas. No exemplo do projeto, o sistema conserva o resultado mais recente de uma ferramenta, descarta um resultado anterior quando chega um mais novo e, em seguida, reorganiza o cache restante. As mensagens originais permanecem na solicitação; o servidor do AKV aplica as instruções de cache. Segundo o artigo, isso evita refazer o pré-preenchimento do contexto mantido.

O sistema também precisa levar em conta as alterações feitas no cache. O artigo observa que a mesma sequência de tokens da conversa pode levar a estados de cache diferentes, dependendo das operações usadas pelo agente. Isso significa que um servidor não pode reutilizar informações armazenadas com segurança apenas porque o prefixo da conversa é igual. O AKV combina uma política executada no agente com um servidor baseado no SGLang, que gerencia a reutilização, a remoção e a restauração do cache. O projeto afirma que o servidor usa uma interface sem estado, compatível com APIs de atendimento já existentes, enquanto gerencia internamente o estado do cache.

## O que os testes mostram?

Nos experimentos dos autores, uma política de descarte contínuo de respostas de ferramentas elevou em 1,7 ponto as pontuações médias nos benchmarks e reduziu em 27,7% o custo médio, em comparação com a sumarização acionada por um limite. O artigo também relata até 1,2 vez mais vazão de saída e uma aceleração de 1,5 vez na latência das solicitações no percentil 95. Um método separado para aprimorar as políticas de cache reduziu recursivamente os custos em 7,1%, em comparação com políticas criadas por especialistas. Esses resultados são os relatados pelos autores do artigo; os materiais fornecidos não mencionam replicações independentes.

As instruções no GitHub descrevem a instalação do AKV com Rust, Cargo e Python 3.12. O exemplo de início rápido executa o GPT-OSS-120B pelo AKV e envia solicitações no formato de conclusão de chat compatível com a OpenAI. O projeto também explica como integrar sua política a uma estrutura de agente já existente, processando as solicitações antes de enviá-las ao servidor. Os resultados relatados abrangem quatro benchmarks de agentes, mas os materiais fornecidos não identificam esses benchmarks nem dão detalhes suficientes para avaliar como a economia se aplicaria a outros modelos ou cargas de trabalho.

## Os fatos

- O AKV é um projeto de engenharia de cache de código aberto, baseado no SGLang.
- O artigo relata redução média de 27,7% nos custos e aumento de 1,7 ponto nas pontuações dos benchmarks, em comparação com a sumarização acionada por um limite.
- Entre os melhores resultados relatados para o AKV estão 1,2× mais vazão de saída e uma aceleração de 1,5× na latência das solicitações no P95.
- As instruções de início rápido do projeto usam o GPT-OSS-120B e exigem Python 3.12.

## Por que importa

Para equipes que desenvolvem agentes que chamam ferramentas repetidamente, o AKV oferece uma forma de descartar resultados antigos sem reescrever o histórico da conversa. Os autores relatam custos menores nos testes, mas a economia que uma equipe específica obteria depende do modelo e da carga de trabalho.

## Fontes e referências

1. [Tsinghua AI Open-Sources AKV, a Cache Engineering Server for LLM Agents on SGLang](https://www.marktechpost.com/2026/10/26/tsinghua-akv-kv-cache-engineering-llm-agents/) – MarkTechPost, 2026-10-26
2. [arXiv](https://arxiv.org/abs/2610.28577) – arXiv
3. [AKV project (thu-nics)](https://github.com/thu-nics/AKV) – AKV project (thu-nics)

Última atualização: 2026-10-26