# Araştırmacılar seçici unutma için First Passage Attention’ı tanıttı

> Yeni bir dikkat yöntemi, modellerin eski belirteçleri korurken aradaki bağlamı silmesini sağlıyor; 110 M parametreli bir modele ölçeklenebiliyor.

Oossa · 2026-10-19 · https://oossa.com/tr/researchers-introduce-first-passage-attention-for-selective-forgetting

Yuxuan Liu ve ortak yazarları, First Passage Attention’ı (FPA) tanıtan makalelerini 19 Ekim 2026’da yayımladı. FPA, öğrenilmiş bir alanın en derin düşüşüne göre bir anahtarın logit değerini azaltarak daha önceki belirteçleri korurken aradakileri silebiliyor. Yazarlar, sabit boyutlu bir FPA başlığının anahtarların herhangi bir alt kümesini seçebildiğini gösteriyor; softmax başlıklarının aynı işi yapabilmesi için daha büyük bir boyuta ihtiyacı var. 110 M parametreli bir dil modelinde FPA, Forgetting Transformer’ın perplexity değerine denk sonuçlar veriyor ve olağan eğitim süresinin sekiz katı sonunda geçiş anahtarlarını hatasız biçimde geri çağırabilen tek yöntem oluyor; üstelik anahtar-değer önbelleğinin yalnızca yaklaşık %25’ini kullanıyor.

## Gerçekler

- First Passage Attention, 19 Ekim 2026’da yayımlanan bir makalede önerildi
- 110 M parametreli bir dil modeline ölçeklendi ve eğitim süresinin 8 katında geçiş anahtarlarını hatasız biçimde geri çağırdı

## Neden önemli

Büyük dil modellerinin önemli ve uzaktaki bilgileri korurken aradaki ilgisiz bölümleri verimli biçimde unutmasını sağlayarak uzun bağlam performansını artırıyor.

## Kaynaklar ve referanslar

1. [First Passage Attention](https://arxiv.org/abs/2610.22714) – arXiv, 2026-10-19

Son güncelleme: 2026-10-19