# AKV от Tsinghua управляет памятью LLM-агентов через кэш

> AKV позволяет агентам удалять и перемещать сохранённый контекст, не переписывая историю диалога. По данным авторов, в тестах это снизило затраты и ускорило обработку запросов.

Oossa · 2026-10-26 · https://oossa.com/ru/tsinghua-s-akv-manages-llm-agent-memory-through-its-cache

Исследователи из Tsinghua выложили на GitHub исходный код AKV — системы управления кэшем для LLM-агентов. Вместо того чтобы сокращать или пересказывать диалог агента, когда он становится слишком длинным, AKV позволяет удалять выбранные сохранённые данные и менять расположение оставшихся. Проект построен на базе SGLang — ПО для запуска языковых моделей — и включает компонент, который выбирает операции с кэшем, а также систему обработки запросов, которая их выполняет.

Это важно, потому что история агента может содержать множество наблюдений, вызовов инструментов и результатов их работы. Хранение всего этого в активном контексте модели требует памяти и вычислительных ресурсов. Но редактирование предыдущих сообщений может заставить систему заново обработать последующий контекст — этот этап называется повторным предварительным заполнением (re-prefilling). В статье об AKV говорится, что это может обходиться дорого, а чрезмерное удаление истории — снижать точность выполнения задач. Вместо этого AKV сохраняет историю диалога без изменений, но меняет, на какие части хранящегося кэша ключей и значений обращается модель.

## Как работает AKV?

AKV предоставляет агентам две операции с кэшем. «Удаление» исключает выбранные данные из последующего контекста внимания, а «перемещение» уплотняет позиции сохранённых данных. В примере из проекта сохраняется последний результат работы инструмента, более ранний удаляется после появления нового, а затем оставшиеся данные в кэше перемещаются. Исходные сообщения остаются в запросе, а сервер AKV выполняет инструкции для кэша. По данным статьи, благодаря этому повторно обрабатывать сохранённый контекст не приходится.

Система также должна учитывать изменения кэша. В статье отмечается, что одна и та же последовательность токенов диалога может приводить к разным состояниям кэша, если агент использовал разные операции. Поэтому сервер не может безопасно повторно использовать сохранённые данные, опираясь только на совпадение начала диалога. AKV сочетает политику на стороне агента с сервером на базе SGLang, который управляет повторным использованием, удалением и восстановлением данных кэша. По словам разработчиков, сервер использует интерфейс без сохранения состояния, совместимый с существующими API для обработки запросов, а состояние кэша обрабатывает внутри системы.

## Что показали тесты?

В экспериментах авторов политика последовательного удаления ответов инструментов повысила средний результат бенчмарков на 1.7 балла и снизила средние затраты на 27.7% по сравнению с суммаризацией, запускаемой при достижении порогового значения. В статье также сообщается об увеличении пропускной способности генерации до 1.2 раза и ускорении обработки запросов на 95-м перцентиле в 1.5 раза. Другой метод оптимизации политики работы с кэшем снизил затраты на 7.1% по сравнению с политиками, разработанными экспертами. Это результаты, о которых сообщают авторы статьи; в предоставленных материалах нет данных о независимой проверке.

Согласно инструкции на GitHub, для установки AKV нужны Rust, Cargo и Python 3.12. В примере быстрого запуска через AKV обслуживаются запросы к GPT-OSS-120B, которые отправляются в формате chat-completions, совместимом с OpenAI. В проекте также описан способ встроить их политику в существующую среду для запуска агентов: запросы обрабатываются до отправки на сервер. Представленные результаты охватывают четыре бенчмарка для агентов, однако в предоставленных материалах эти бенчмарки не названы и недостаточно подробностей, чтобы оценить, насколько экономия будет сопоставима при использовании других моделей или нагрузок.

## Факты

- AKV — проект с открытым исходным кодом для управления кэшем, построенный на базе SGLang.
- В статье сообщается о снижении средних затрат на 27.7% и повышении результатов бенчмарков на 1.7 балла по сравнению с суммаризацией, запускаемой при достижении порогового значения.
- Среди заявленных результатов AKV — увеличение пропускной способности генерации до 1.2× и ускорение обработки запросов на P95 в 1.5 раза.
- В инструкции для быстрого запуска используются GPT-OSS-120B и Python 3.12.

## Почему это важно

Команды, создающие агентов, которые регулярно вызывают инструменты, могут использовать AKV, чтобы удалять устаревшие результаты работы инструментов, не переписывая историю диалога. Авторы сообщают о снижении затрат в своих тестах, однако реальные результаты для конкретной команды будут зависеть от используемой модели и нагрузки.

## Источники и ссылки

1. [Tsinghua AI Open-Sources AKV, a Cache Engineering Server for LLM Agents on SGLang](https://www.marktechpost.com/2026/10/26/tsinghua-akv-kv-cache-engineering-llm-agents/) – MarkTechPost, 2026-10-26
2. [arXiv](https://arxiv.org/abs/2610.28577) – arXiv
3. [AKV project (thu-nics)](https://github.com/thu-nics/AKV) – AKV project (thu-nics)

Обновлено: 2026-10-26