疎な注意機構で長文脈ハイブリッドLLMを高速化

研究チームは、ハイブリッド大規模言語モデルを再学習したり重みを変更したりせずに、長文脈テキストの生成を高速化する手法を説明している。この手法では、全注意層が、直近のトークン、固定されたプレフィックス、そして広い文脈から選んだ関連性の高い限られた数のトークンに注目する。

パラメーター数が40億から3970億の6モデルを対象としたテストで、研究チームは21のデータセットにおいてベースラインと同等の精度を得たと報告している。Qwen3.5-4Bでは、256,000トークンのデコードが最大2.22倍高速になった。これらは論文で報告された結果であり、独立した評価ではない。