Yuxuan Liu ve ortak yazarları, First Passage Attention’ı (FPA) tanıtan makalelerini 19 Ekim 2026’da yayımladı. FPA, öğrenilmiş bir alanın en derin düşüşüne göre bir anahtarın logit değerini azaltarak daha önceki belirteçleri korurken aradakileri silebiliyor. Yazarlar, sabit boyutlu bir FPA başlığının anahtarların herhangi bir alt kümesini seçebildiğini gösteriyor; softmax başlıklarının aynı işi yapabilmesi için daha büyük bir boyuta ihtiyacı var. 110 M parametreli bir dil modelinde FPA, Forgetting Transformer’ın perplexity değerine denk sonuçlar veriyor ve olağan eğitim süresinin sekiz katı sonunda geçiş anahtarlarını hatasız biçimde geri çağırabilen tek yöntem oluyor; üstelik anahtar-değer önbelleğinin yalnızca yaklaşık %25’ini kullanıyor.
Neden önemli
Büyük dil modellerinin önemli ve uzaktaki bilgileri korurken aradaki ilgisiz bölümleri verimli biçimde unutmasını sağlayarak uzun bağlam performansını artırıyor.
