Yuxuan Liu氏らは2026年10月19日、First Passage Attention（FPA）についての論文を公開した。FPAは、学習された場の最も深い谷に基づいてキーのロジットを下げることで、先行するトークンを保持したまま中間のトークンを消去できる。著者らは、サイズが一定のFPAヘッドで任意のキー集合を選択できることを示した。これを実現するには、softmaxヘッドではより大きな次元が必要となる。1億1000万パラメーターの言語モデルでは、FPAはForgettting Transformerと同等のパープレキシティを達成したほか、通常の8倍の学習期間を経た後でもパスキーを完璧に検索できた。キー・バリューキャッシュの使用量は約25％にとどまった。
なぜ重要か
大規模言語モデルが重要な遠隔情報を保持しつつ、不要な中間部分を効率よく忘れられるため、長い文脈の処理性能向上につながる。
