研究者らは、言語モデルにひも付いたテキストパターンの大規模な格納領域である「条件付きメモリテーブル」を圧縮する手法、GateRQを発表しました。頻繁に参照される行に追加の精度を割り当てるのではなく、参照時のゲート値を使い、追加の1ビットコードを読み込むかどうかを判断します。論文によると、このゲート値は1ビットコードから計算できます。
DeepSeek-V4.1-Flashでは、FP8テーブルと比べてGPU上のテーブル使用量が7.8分の1になり、vLLMの処理性能が11%～31%向上したと研究者らは報告しています。2つのモデルで、参照あたり平均1.50ビットを読み込む設定ではPopQAのスコアが約1ポイント、2.10ビットの設定では0.2ポイント低下したとのことです。この手法に再学習は必要ありません。
なぜ重要か
条件付きメモリテーブルを使うモデルを提供するチームにとって、GateRQはGPUメモリ使用量を抑えながら処理性能を高める可能性があります。ただし、報告された結果からは、評価対象以外のモデルでの性能は分かりません。
