Yuxuan Liu et ses coauteurs ont publié le 19 oct. 2026 un article présentant First Passage Attention (FPA). Cette méthode réduit le logit d’une clé en fonction du creux le plus profond d’un champ appris, ce qui lui permet d’effacer les tokens intermédiaires tout en préservant les précédents. Les auteurs montrent qu’une tête FPA de taille constante peut sélectionner n’importe quel sous-ensemble de clés, alors que les têtes softmax nécessitent une dimension supérieure pour y parvenir. Dans un modèle de langage de 110 M de paramètres, FPA égale la perplexité du Forgetting Transformer et est la seule méthode à retrouver parfaitement les passkeys après une durée d’entraînement huit fois supérieure à la durée habituelle, en n’utilisant qu’environ 25 % du cache clé-valeur.
Pourquoi c'est important
Cette méthode permet aux grands modèles de langage de conserver les informations importantes éloignées dans le contexte tout en oubliant efficacement les passages intermédiaires non pertinents, améliorant ainsi leurs performances sur les contextes longs.
