# First Passage Attention laat modellen selectief vergeten

> Een nieuwe aandachtsmethode laat modellen tussengelegen context schrappen en oudere tokens behouden. De methode schaalt tot een model met 110 M parameters.

Oossa · 2026-10-19 · https://oossa.com/nl/researchers-introduce-first-passage-attention-for-selective-forgetting

Yuxuan Liu en mede-auteurs publiceerden op 19 okt. 2026 een artikel over First Passage Attention (FPA). FPA verlaagt de logit van een key op basis van het diepste dal in een aangeleerd veld. Zo kan de methode middelste tokens wissen en eerdere tokens behouden. De auteurs laten zien dat een FPA-head met een vaste grootte elke gewenste subset van keys kan selecteren; softmax-heads hebben daarvoor een grotere dimensie nodig. In een taalmodel met 110 M parameters evenaart FPA de perplexiteit van de Forgetting Transformer. Ook haalt FPA als enige methode passkeys perfect terug na acht keer de gebruikelijke trainingsduur, met slechts ongeveer 25% van de key-value-cache.

## De feiten

- First Passage Attention werd voorgesteld in een artikel dat op 19 okt. 2026 verscheen
- De methode schaalt tot een taalmodel met 110 M parameters en haalde passkeys perfect terug na 8× de gebruikelijke trainingsduur

## Waarom het ertoe doet

Hierdoor kunnen grote taalmodellen belangrijke informatie op afstand behouden en irrelevante stukken ertussen efficiënt vergeten, wat de prestaties bij lange contexten verbetert.

## Bronnen en referenties

1. [First Passage Attention](https://arxiv.org/abs/2610.22714) – arXiv, 2026-10-19

Laatst bijgewerkt: 2026-10-19