Yuxuan Liu en mede-auteurs publiceerden op 19 okt. 2026 een artikel over First Passage Attention (FPA). FPA verlaagt de logit van een key op basis van het diepste dal in een aangeleerd veld. Zo kan de methode middelste tokens wissen en eerdere tokens behouden. De auteurs laten zien dat een FPA-head met een vaste grootte elke gewenste subset van keys kan selecteren; softmax-heads hebben daarvoor een grotere dimensie nodig. In een taalmodel met 110 M parameters evenaart FPA de perplexiteit van de Forgetting Transformer. Ook haalt FPA als enige methode passkeys perfect terug na acht keer de gebruikelijke trainingsduur, met slechts ongeveer 25% van de key-value-cache.
Waarom het ertoe doet
Hierdoor kunnen grote taalmodellen belangrijke informatie op afstand behouden en irrelevante stukken ertussen efficiënt vergeten, wat de prestaties bij lange contexten verbetert.
