# AbridgeKV сокращает кэш рассуждений до четверти

> По данным исследователей, AbridgeKV сохраняет точность и длину ответов, используя на 75% меньше кэша токенов генерации в тесте из 446 задач.

Oossa · 2026-10-16 · https://oossa.com/ru/abridgekv-shrinks-reasoning-model-cache-to-one-quarter

AbridgeKV — метод сжатия кэша памяти, который языковые модели используют при генерации длинных цепочек рассуждений. В статье, опубликованной на arXiv 16 октября 2026 года, авторы описывают обучение моделей: те суммируют уже обработанные блоки текста с помощью нескольких обучаемых токенов-пауз, после чего исходные записи этих блоков в кэше удаляются.

На 446 задачах из соревнований, сообщают авторы, хранение четверти кэша генерации обеспечило такую же точность и длину ответов, как у модели, обученной аналогичным образом и использующей полный кэш. Также авторы сообщают, что в vLLM кэш на последовательность был в 3,5 раза меньше, а решение задач на загруженном H100 — в 3,2 раза быстрее. В предоставленном реферате не указаны результаты в баллах и не говорится о независимой проверке.

## Факты

- Тестовый набор: 446 задач из AIME, HMMT, AMC, BRUMO, CMIMC и SMT; длина генерации — до 32K токенов.
- По данным авторов, по сравнению с полным KV-кэшем кэш на последовательность в 3,5 раза меньше, а решение задач на загруженном H100 — в 3,2 раза быстрее.

## Почему это важно

Для команд, обслуживающих задачи с длинными рассуждениями, заявленное сокращение кэша может означать, что в памяти поместится больше последовательностей. Однако реферат не подтверждает эффективность метода за пределами тестов на задачах из соревнований.

## Источники и ссылки

1. [AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens](https://arxiv.org/abs/2610.20641) – arXiv, 2026-10-16

Обновлено: 2026-10-16