Yuxuan Liu e i coautori hanno pubblicato il 19 ottobre 2026 un articolo che descrive First Passage Attention (FPA). FPA riduce il logit di una chiave in base al punto minimo più profondo di un campo appreso, permettendo di cancellare i token intermedi e conservare quelli precedenti. Gli autori mostrano che una testa FPA di dimensioni costanti può selezionare qualsiasi sottoinsieme di chiavi, mentre alle teste softmax serve una dimensione maggiore. In un modello linguistico da 110 M di parametri, FPA raggiunge la stessa perplexity del Forgetting Transformer e, unico tra i metodi considerati, recupera perfettamente le passkey dopo una durata di addestramento pari a otto volte quella abituale, usando solo circa il 25 % della cache key-value.
Perché conta
Permette ai modelli linguistici di grandi dimensioni di conservare le informazioni lontane importanti e dimenticare in modo efficiente le parti intermedie irrilevanti, migliorando le prestazioni con contesti lunghi.
