Pesquisadores da Tsinghua disponibilizaram no GitHub o AKV, um sistema de gerenciamento de cache para agentes de IA baseados em LLMs. Em vez de encurtar ou resumir a conversa do agente quando ela fica longa, o AKV permite descartar informações armazenadas específicas e reorganizar o que permanece. O projeto é baseado no SGLang, um software para executar modelos de linguagem, e inclui tanto um componente que escolhe as operações de cache quanto um sistema de atendimento que as executa.
Essa diferença importa porque o histórico de um agente pode conter muitas observações, chamadas de ferramentas e resultados dessas chamadas. Manter tudo isso no contexto ativo do modelo exige armazenamento e processamento. Mas editar mensagens anteriores pode fazer o sistema recalcular o contexto posterior, uma etapa chamada pré-preenchimento (prefilling) novamente. O artigo sobre o AKV afirma que isso pode ser caro, enquanto remover histórico demais pode prejudicar a precisão nas tarefas. Em vez disso, o AKV mantém intacto o histórico da conversa e altera quais partes do cache de pares chave-valor armazenado são consideradas pelo modelo.
Como o AKV funciona?
O AKV oferece aos agentes duas operações de cache. “Drop” exclui informações selecionadas das consultas futuras, enquanto “reposition” compacta as posições das informações mantidas. No exemplo do projeto, o sistema conserva o resultado mais recente de uma ferramenta, descarta um resultado anterior quando chega um mais novo e, em seguida, reorganiza o cache restante. As mensagens originais permanecem na solicitação; o servidor do AKV aplica as instruções de cache. Segundo o artigo, isso evita refazer o pré-preenchimento do contexto mantido.
O sistema também precisa levar em conta as alterações feitas no cache. O artigo observa que a mesma sequência de tokens da conversa pode levar a estados de cache diferentes, dependendo das operações usadas pelo agente. Isso significa que um servidor não pode reutilizar informações armazenadas com segurança apenas porque o prefixo da conversa é igual. O AKV combina uma política executada no agente com um servidor baseado no SGLang, que gerencia a reutilização, a remoção e a restauração do cache. O projeto afirma que o servidor usa uma interface sem estado, compatível com APIs de atendimento já existentes, enquanto gerencia internamente o estado do cache.
O que os testes mostram?
Nos experimentos dos autores, uma política de descarte contínuo de respostas de ferramentas elevou em 1,7 ponto as pontuações médias nos benchmarks e reduziu em 27,7% o custo médio, em comparação com a sumarização acionada por um limite. O artigo também relata até 1,2 vez mais vazão de saída e uma aceleração de 1,5 vez na latência das solicitações no percentil 95. Um método separado para aprimorar as políticas de cache reduziu recursivamente os custos em 7,1%, em comparação com políticas criadas por especialistas. Esses resultados são os relatados pelos autores do artigo; os materiais fornecidos não mencionam replicações independentes.
As instruções no GitHub descrevem a instalação do AKV com Rust, Cargo e Python 3.12. O exemplo de início rápido executa o GPT-OSS-120B pelo AKV e envia solicitações no formato de conclusão de chat compatível com a OpenAI. O projeto também explica como integrar sua política a uma estrutura de agente já existente, processando as solicitações antes de enviá-las ao servidor. Os resultados relatados abrangem quatro benchmarks de agentes, mas os materiais fornecidos não identificam esses benchmarks nem dão detalhes suficientes para avaliar como a economia se aplicaria a outros modelos ou cargas de trabalho.
Por que importa
Para equipes que desenvolvem agentes que chamam ferramentas repetidamente, o AKV oferece uma forma de descartar resultados antigos sem reescrever o histórico da conversa. Os autores relatam custos menores nos testes, mas a economia que uma equipe específica obteria depende do modelo e da carga de trabalho.
