Yuxuan Liu och medförfattare publicerade den 19 okt. 2026 en artikel om First Passage Attention (FPA). FPA sänker en nyckels logit utifrån den djupaste sänkningen i ett inlärt fält, vilket gör att modellen kan radera token i mitten samtidigt som tidigare token bevaras. Författarna visar att ett FPA-huvud med konstant storlek kan välja vilken delmängd som helst av nycklarna – något som kräver större dimensioner hos softmax-huvuden. I en språkmodell med 110 M parametrar matchar FPA Forgetting Transformers perplexitet och kan, unikt nog, hämta passnycklar felfritt efter åtta gånger den vanliga träningslängden, samtidigt som den bara använder cirka 25 % av nyckel-värde-cachen.
Varför det spelar roll
Metoden gör att stora språkmodeller kan bevara viktig information långt bak i kontexten och samtidigt effektivt glömma irrelevanta mellanliggande delar, vilket förbättrar prestandan vid långa kontexter.
