AbridgeKVは、言語モデルが長い推論過程を生成する際に使うメモリーキャッシュを圧縮する手法だ。2026年10月16日にarXivで公開された論文で、著者らは、モデルに完了済みのテキストブロックを少数の学習済みポーズトークンに要約させ、元のブロックのキャッシュ情報を破棄する方法を説明している。
競技形式の問題446問を使ったテストでは、生成キャッシュを4分の1だけ保持した場合でも、同じ方法で学習させたフルキャッシュのモデルと精度および出力の長さが同等だったと、著者らは報告している。また、vLLMでは系列ごとのキャッシュが3.5分の1になり、負荷が飽和したH100では問題を解く速度が3.2倍になったという。提供された要旨には、スコアの記載も、独立した検証を行ったかどうかの説明もない。
なぜ重要か
長い推論タスクを提供するチームにとって、報告されたキャッシュ削減によりメモリーに収まる系列数が増える可能性がある。ただし、要旨からは、競技形式の問題を使ったテスト以外でも性能が確認されたとは言えない。
