# GateRQ、2つのLLMで条件付きメモリテーブルを圧縮

> 新たな研究では、メモリ参照ごとに読み込むビット数を選ぶ手法を提案。GPU上のテーブル使用量を抑え、vLLMの処理性能を高めたと報告しています。

Oossa · 2026-10-28 · https://oossa.com/ja/gaterq-cuts-conditional-memory-table-use-in-two-llms

研究者らは、言語モデルにひも付いたテキストパターンの大規模な格納領域である「条件付きメモリテーブル」を圧縮する手法、GateRQを発表しました。頻繁に参照される行に追加の精度を割り当てるのではなく、参照時のゲート値を使い、追加の1ビットコードを読み込むかどうかを判断します。論文によると、このゲート値は1ビットコードから計算できます。

DeepSeek-V4.1-Flashでは、FP8テーブルと比べてGPU上のテーブル使用量が7.8分の1になり、vLLMの処理性能が11%～31%向上したと研究者らは報告しています。2つのモデルで、参照あたり平均1.50ビットを読み込む設定ではPopQAのスコアが約1ポイント、2.10ビットの設定では0.2ポイント低下したとのことです。この手法に再学習は必要ありません。

## 事実

- 論文はarXiv:2610.35985で、2026年10月28日に公開されました。
- 研究者らは、DeepSeek-V4.1-FlashでGPU上のテーブル使用量が7.8分の1になったと報告しています。

## なぜ重要か

条件付きメモリテーブルを使うモデルを提供するチームにとって、GateRQはGPUメモリ使用量を抑えながら処理性能を高める可能性があります。ただし、報告された結果からは、評価対象以外のモデルでの性能は分かりません。

## 出典と参考資料

1. [Let the Gate Decide: Per-Lookup Precision for Quantized Conditional Memory in LLMs](https://arxiv.org/abs/2610.35985) – arXiv cs.LG, 2026-10-28

最終更新: 2026-10-28