# AbridgeKV、推論モデルのキャッシュを4分の1に削減

> 研究者らによると、446問のテストで、生成トークンのキャッシュを75%削減しても、精度と出力の長さを維持できた。

Oossa · 2026-10-16 · https://oossa.com/ja/abridgekv-shrinks-reasoning-model-cache-to-one-quarter

AbridgeKVは、言語モデルが長い推論過程を生成する際に使うメモリーキャッシュを圧縮する手法だ。2026年10月16日にarXivで公開された論文で、著者らは、モデルに完了済みのテキストブロックを少数の学習済みポーズトークンに要約させ、元のブロックのキャッシュ情報を破棄する方法を説明している。

競技形式の問題446問を使ったテストでは、生成キャッシュを4分の1だけ保持した場合でも、同じ方法で学習させたフルキャッシュのモデルと精度および出力の長さが同等だったと、著者らは報告している。また、vLLMでは系列ごとのキャッシュが3.5分の1になり、負荷が飽和したH100では問題を解く速度が3.2倍になったという。提供された要旨には、スコアの記載も、独立した検証を行ったかどうかの説明もない。

## 事実

- テストセットはAIME、HMMT、AMC、BRUMO、CMIMC、SMTの446問で、生成長は最大32Kトークン。
- 著者らによると、フルKVキャッシュと比べ、系列ごとのキャッシュを3.5分の1に削減し、負荷が飽和したH100での完了速度は3.2倍になった。

## なぜ重要か

長い推論タスクを提供するチームにとって、報告されたキャッシュ削減によりメモリーに収まる系列数が増える可能性がある。ただし、要旨からは、競技形式の問題を使ったテスト以外でも性能が確認されたとは言えない。

## 出典と参考資料

1. [AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens](https://arxiv.org/abs/2610.20641) – arXiv, 2026-10-16

最終更新: 2026-10-16