Yuxuan Liu y sus coautores publicaron el 19 de octubre de 2026 un artículo que describe First Passage Attention (FPA). FPA reduce el logit de una clave según el punto más bajo de un campo aprendido, lo que le permite borrar tokens intermedios y conservar los anteriores. Los autores muestran que un cabezal FPA de tamaño constante puede seleccionar cualquier subconjunto de claves, algo que los cabezales softmax necesitan una dimensión mayor para lograr. En un modelo de lenguaje de 110 M de parámetros, FPA iguala la perplejidad del Forgetting Transformer y es el único que recupera claves de acceso a la perfección tras entrenarse durante ocho veces el tiempo habitual, usando solo cerca del 25 % de la caché de clave-valor.
Por qué importa
Permite que los modelos de lenguaje grandes conserven información distante importante y olviden de forma eficiente los fragmentos intermedios irrelevantes, lo que mejora el rendimiento con contextos largos.
