# Forskare presenterar First Passage Attention för selektiv glömska

> En ny uppmärksamhetsmetod låter modeller släppa mellanliggande kontext men behålla äldre token, och har skalats upp till en modell med 110 M parametrar.

Oossa · 2026-10-19 · https://oossa.com/sv/researchers-introduce-first-passage-attention-for-selective-forgetting

Yuxuan Liu och medförfattare publicerade den 19 okt. 2026 en artikel om First Passage Attention (FPA). FPA sänker en nyckels logit utifrån den djupaste sänkningen i ett inlärt fält, vilket gör att modellen kan radera token i mitten samtidigt som tidigare token bevaras. Författarna visar att ett FPA-huvud med konstant storlek kan välja vilken delmängd som helst av nycklarna – något som kräver större dimensioner hos softmax-huvuden. I en språkmodell med 110 M parametrar matchar FPA Forgetting Transformers perplexitet och kan, unikt nog, hämta passnycklar felfritt efter åtta gånger den vanliga träningslängden, samtidigt som den bara använder cirka 25 % av nyckel-värde-cachen.

## Fakta

- First Passage Attention föreslogs i en artikel som publicerades den 19 okt. 2026
- Metoden skalades upp till en språkmodell med 110 M parametrar och hämtade passnycklar felfritt efter 8× träningslängden

## Varför det spelar roll

Metoden gör att stora språkmodeller kan bevara viktig information långt bak i kontexten och samtidigt effektivt glömma irrelevanta mellanliggande delar, vilket förbättrar prestandan vid långa kontexter.

## Källor och referenser

1. [First Passage Attention](https://arxiv.org/abs/2610.22714) – arXiv, 2026-10-19

Senast uppdaterad: 2026-10-19