Yuxuan Liu و همکارانش مقاله‌ای را در Oct 19 2026 منتشر کردند که در آن روش «توجه به نخستین گذر» (FPA) را توضیح می‌دهند. FPA بر اساس عمیق‌ترین افتِ یک میدانِ یادگرفته‌شده، لاجیتِ یک کلید را کاهش می‌دهد و به این ترتیب می‌تواند توکن‌های میانی را حذف کند، در حالی که توکن‌های قدیمی‌تر را نگه می‌دارد. نویسندگان نشان می‌دهند یک سرِ FPA با اندازه ثابت می‌تواند هر زیرمجموعه‌ای از کلیدها را انتخاب کند؛ کاری که سرهای softmax برای انجامش به بُعد بزرگ‌تری نیاز دارند. در یک مدل زبانی با 110 M پارامتر، FPA از نظر پرپلکسیتی با Forgetting Transformer برابری می‌کند و تنها روشی است که پس از آموزشی هشت‌برابر طولانی‌تر از معمول، کلیدهای عبور را بی‌نقص بازیابی می‌کند؛ آن هم با استفاده از حدود 25 % از حافظه نهان کلید-مقدار.
چرا مهم است
این روش به مدل‌های زبانی بزرگ کمک می‌کند اطلاعات دوردستِ مهم را نگه دارند و بخش‌های میانیِ نامرتبط را با کارایی بیشتری فراموش کنند؛ در نتیجه، عملکردشان در پردازش متن‌های طولانی بهبود می‌یابد.
