# First Passage Attention permet aux modèles d’oublier sélectivement

> Une nouvelle méthode d’attention permet aux modèles d’écarter le contexte intermédiaire tout en conservant les anciens tokens, et passe à l’échelle d’un modèle de 110 M de paramètres.

Oossa · 2026-10-19 · https://oossa.com/fr/researchers-introduce-first-passage-attention-for-selective-forgetting

Yuxuan Liu et ses coauteurs ont publié le 19 oct. 2026 un article présentant First Passage Attention (FPA). Cette méthode réduit le logit d’une clé en fonction du creux le plus profond d’un champ appris, ce qui lui permet d’effacer les tokens intermédiaires tout en préservant les précédents. Les auteurs montrent qu’une tête FPA de taille constante peut sélectionner n’importe quel sous-ensemble de clés, alors que les têtes softmax nécessitent une dimension supérieure pour y parvenir. Dans un modèle de langage de 110 M de paramètres, FPA égale la perplexité du Forgetting Transformer et est la seule méthode à retrouver parfaitement les passkeys après une durée d’entraînement huit fois supérieure à la durée habituelle, en n’utilisant qu’environ 25 % du cache clé-valeur.

## Les faits

- First Passage Attention a été présentée dans un article publié le 19 oct. 2026
- La méthode a été mise à l’échelle d’un modèle de langage de 110 M de paramètres et a retrouvé parfaitement les passkeys après une durée d’entraînement multipliée par 8

## Pourquoi c'est important

Cette méthode permet aux grands modèles de langage de conserver les informations importantes éloignées dans le contexte tout en oubliant efficacement les passages intermédiaires non pertinents, améliorant ainsi leurs performances sur les contextes longs.

## Sources et références

1. [First Passage Attention](https://arxiv.org/abs/2610.22714) – arXiv, 2026-10-19

Dernière mise à jour: 2026-10-19