Yuxuan Liu और उनके सहलेखकों ने 19 Oct 2026 को First Passage Attention (FPA) पर एक शोधपत्र जारी किया। FPA किसी सीखी हुई फ़ील्ड के सबसे गहरे गिराव के आधार पर key के logit को घटाता है। इससे मॉडल बीच के टोकन मिटा सकता है, जबकि पहले आए टोकन सुरक्षित रहते हैं। लेखकों ने दिखाया कि FPA का स्थिर आकार वाला head, keys के किसी भी उपसमुच्चय को चुन सकता है—इसके लिए softmax heads को अधिक dimension की ज़रूरत होती है। 110 M पैरामीटर वाले भाषा मॉडल में FPA ने perplexity के मामले में Forgetting Transformer के बराबर प्रदर्शन किया। साथ ही, सामान्य से आठ गुना अधिक प्रशिक्षण के बाद passkeys को पूरी सटीकता से वापस पाने में यह अकेला सफल रहा और key-value cache का केवल लगभग 25 % इस्तेमाल किया।
यह क्यों मायने रखता है
यह बड़े भाषा मॉडलों को अप्रासंगिक बीच की जानकारी कुशलता से भूलते हुए दूर की महत्वपूर्ण जानकारी बनाए रखने देता है, जिससे लंबे संदर्भों में उनका प्रदर्शन बेहतर होता है।
