# First Passage Attention lässt Modelle gezielt vergessen

> Ein neues Aufmerksamkeitsverfahren ermöglicht es Modellen, Zwischenkontext zu verwerfen und ältere Tokens zu behalten. Es wurde auf ein Modell mit 110 M Parametern skaliert.

Oossa · 2026-10-19 · https://oossa.com/de/researchers-introduce-first-passage-attention-for-selective-forgetting

Yuxuan Liu und Mitautoren veröffentlichten am 19. Okt. 2026 eine Arbeit zu First Passage Attention (FPA). FPA senkt den Logit eines Keys anhand des tiefsten Ausschlags eines erlernten Feldes. So kann das Verfahren Tokens aus der Mitte entfernen und frühere Tokens bewahren. Die Autoren zeigen, dass ein FPA-Head mit konstanter Größe beliebige Teilmengen von Keys auswählen kann – dafür benötigen Softmax-Heads eine größere Dimension. In einem Sprachmodell mit 110 M Parametern erreicht FPA dieselbe Perplexität wie der Forgetting Transformer und ruft Passkeys als einziges Verfahren auch nach dem Achtfachen der üblichen Trainingsdauer fehlerfrei ab. Dabei benötigt es nur etwa 25 % des Key-Value-Caches.

## Die Fakten

- First Passage Attention wurde in einer am 19. Okt. 2026 veröffentlichten Arbeit vorgestellt
- Auf ein Sprachmodell mit 110 M Parametern skaliert und Passkeys nach dem Achtfachen der üblichen Trainingsdauer fehlerfrei abgerufen

## Warum es wichtig ist

So können große Sprachmodelle wichtige, weit zurückliegende Informationen behalten und irrelevante Inhalte aus der Mitte effizient vergessen – das verbessert die Leistung bei langen Kontexten.

## Quellen und Referenzen

1. [First Passage Attention](https://arxiv.org/abs/2610.22714) – arXiv, 2026-10-19

Zuletzt aktualisiert: 2026-10-19