# 研究者が選択的な忘却を可能にする「First Passage Attention」を発表

> 新たなアテンション手法により、中間の文脈を捨てながら古いトークンを保持できる。1億1000万パラメーターのモデルにも拡張された。

Oossa · 2026-10-19 · https://oossa.com/ja/researchers-introduce-first-passage-attention-for-selective-forgetting

Yuxuan Liu氏らは2026年10月19日、First Passage Attention（FPA）についての論文を公開した。FPAは、学習された場の最も深い谷に基づいてキーのロジットを下げることで、先行するトークンを保持したまま中間のトークンを消去できる。著者らは、サイズが一定のFPAヘッドで任意のキー集合を選択できることを示した。これを実現するには、softmaxヘッドではより大きな次元が必要となる。1億1000万パラメーターの言語モデルでは、FPAはForgettting Transformerと同等のパープレキシティを達成したほか、通常の8倍の学習期間を経た後でもパスキーを完璧に検索できた。キー・バリューキャッシュの使用量は約25％にとどまった。

## 事実

- First Passage Attentionは2026年10月19日公開の論文で提案された
- 1億1000万パラメーターの言語モデルに拡張され、学習期間が8倍になってもパスキーの検索に成功した

## なぜ重要か

大規模言語モデルが重要な遠隔情報を保持しつつ、不要な中間部分を効率よく忘れられるため、長い文脈の処理性能向上につながる。

## 出典と参考資料

1. [First Passage Attention](https://arxiv.org/abs/2610.22714) – arXiv, 2026-10-19

最終更新: 2026-10-19