AbridgeKV — метод сжатия кэша памяти, который языковые модели используют при генерации длинных цепочек рассуждений. В статье, опубликованной на arXiv 16 октября 2026 года, авторы описывают обучение моделей: те суммируют уже обработанные блоки текста с помощью нескольких обучаемых токенов-пауз, после чего исходные записи этих блоков в кэше удаляются.
На 446 задачах из соревнований, сообщают авторы, хранение четверти кэша генерации обеспечило такую же точность и длину ответов, как у модели, обученной аналогичным образом и использующей полный кэш. Также авторы сообщают, что в vLLM кэш на последовательность был в 3,5 раза меньше, а решение задач на загруженном H100 — в 3,2 раза быстрее. В предоставленном реферате не указаны результаты в баллах и не говорится о независимой проверке.
Почему это важно
Для команд, обслуживающих задачи с длинными рассуждениями, заявленное сокращение кэша может означать, что в памяти поместится больше последовательностей. Однако реферат не подтверждает эффективность метода за пределами тестов на задачах из соревнований.
