نشر Yuxuan Liu وزملاؤه ورقة بحثية في Oct 19 2026 وصفوا فيها آلية «انتباه المرور الأول» (FPA). وتخفض FPA قيمة سجلّ المفتاح استنادًا إلى أعمق انخفاض في مجال متعلَّم، ما يسمح لها بمحو الرموز الوسيطة مع الإبقاء على الرموز الأسبق. ويبيّن الباحثون أن رأس FPA ثابت الحجم قادر على انتقاء أي مجموعة فرعية من المفاتيح، وهو ما يتطلب من رؤوس softmax أبعادًا أكبر. وفي نموذج لغوي يضم 110 M من المعاملات، حققت FPA مستوى مماثلًا لمحوّل النسيان (Forgetting Transformer) في مقياس الحيرة، وتميّزت باسترجاع مفاتيح المرور بدقة تامة بعد تدريب أطول بثماني مرات من المعتاد، مستخدمةً نحو 25 % فقط من ذاكرة التخزين المؤقت للقيم والمفاتيح.
لماذا يهم
تتيح هذه الآلية للنماذج اللغوية الكبيرة الاحتفاظ بالمعلومات البعيدة المهمة مع نسيان الأجزاء الوسيطة غير ذات الصلة بكفاءة، ما يحسّن أداءها عند التعامل مع سياقات طويلة.
