Yuxuan Liu und Mitautoren veröffentlichten am 19. Okt. 2026 eine Arbeit zu First Passage Attention (FPA). FPA senkt den Logit eines Keys anhand des tiefsten Ausschlags eines erlernten Feldes. So kann das Verfahren Tokens aus der Mitte entfernen und frühere Tokens bewahren. Die Autoren zeigen, dass ein FPA-Head mit konstanter Größe beliebige Teilmengen von Keys auswählen kann – dafür benötigen Softmax-Heads eine größere Dimension. In einem Sprachmodell mit 110 M Parametern erreicht FPA dieselbe Perplexität wie der Forgetting Transformer und ruft Passkeys als einziges Verfahren auch nach dem Achtfachen der üblichen Trainingsdauer fehlerfrei ab. Dabei benötigt es nur etwa 25 % des Key-Value-Caches.
Warum es wichtig ist
So können große Sprachmodelle wichtige, weit zurückliegende Informationen behalten und irrelevante Inhalte aus der Mitte effizient vergessen – das verbessert die Leistung bei langen Kontexten.
