# शोधकर्ताओं ने चुनिंदा भूलने के लिए पेश किया First Passage Attention

> ध्यान देने की यह नई विधि मॉडल को पुराने टोकन बनाए रखते हुए बीच का संदर्भ छोड़ने देती है। इसे 110 M पैरामीटर वाले मॉडल तक बढ़ाया गया।

Oossa · 2026-10-19 · https://oossa.com/hi/researchers-introduce-first-passage-attention-for-selective-forgetting

Yuxuan Liu और उनके सहलेखकों ने 19 Oct 2026 को First Passage Attention (FPA) पर एक शोधपत्र जारी किया। FPA किसी सीखी हुई फ़ील्ड के सबसे गहरे गिराव के आधार पर key के logit को घटाता है। इससे मॉडल बीच के टोकन मिटा सकता है, जबकि पहले आए टोकन सुरक्षित रहते हैं। लेखकों ने दिखाया कि FPA का स्थिर आकार वाला head, keys के किसी भी उपसमुच्चय को चुन सकता है—इसके लिए softmax heads को अधिक dimension की ज़रूरत होती है। 110 M पैरामीटर वाले भाषा मॉडल में FPA ने perplexity के मामले में Forgetting Transformer के बराबर प्रदर्शन किया। साथ ही, सामान्य से आठ गुना अधिक प्रशिक्षण के बाद passkeys को पूरी सटीकता से वापस पाने में यह अकेला सफल रहा और key-value cache का केवल लगभग 25 % इस्तेमाल किया।

## तथ्य

- First Passage Attention का प्रस्ताव 19 Oct 2026 को जारी एक शोधपत्र में रखा गया
- इसे 110 M पैरामीटर वाले भाषा मॉडल तक बढ़ाया गया और प्रशिक्षण अवधि 8× होने पर passkeys को पूरी सटीकता से वापस पाया

## यह क्यों मायने रखता है

यह बड़े भाषा मॉडलों को अप्रासंगिक बीच की जानकारी कुशलता से भूलते हुए दूर की महत्वपूर्ण जानकारी बनाए रखने देता है, जिससे लंबे संदर्भों में उनका प्रदर्शन बेहतर होता है।

## स्रोत और संदर्भ

1. [First Passage Attention](https://arxiv.org/abs/2610.22714) – arXiv, 2026-10-19

अंतिम अपडेट: 2026-10-19