# Presentan First Passage Attention para olvidar selectivamente

> Un nuevo método de atención permite a los modelos descartar contexto intermedio y conservar tokens anteriores. Se probó en un modelo de 110 M de parámetros.

Oossa · 2026-10-19 · https://oossa.com/es/researchers-introduce-first-passage-attention-for-selective-forgetting

Yuxuan Liu y sus coautores publicaron el 19 de octubre de 2026 un artículo que describe First Passage Attention (FPA). FPA reduce el logit de una clave según el punto más bajo de un campo aprendido, lo que le permite borrar tokens intermedios y conservar los anteriores. Los autores muestran que un cabezal FPA de tamaño constante puede seleccionar cualquier subconjunto de claves, algo que los cabezales softmax necesitan una dimensión mayor para lograr. En un modelo de lenguaje de 110 M de parámetros, FPA iguala la perplejidad del Forgetting Transformer y es el único que recupera claves de acceso a la perfección tras entrenarse durante ocho veces el tiempo habitual, usando solo cerca del 25 % de la caché de clave-valor.

## Los hechos

- First Passage Attention se propuso en un artículo publicado el 19 de octubre de 2026
- Se escaló a un modelo de lenguaje de 110 M de parámetros y logró recuperar claves de acceso a la perfección tras un entrenamiento 8× más largo

## Por qué importa

Permite que los modelos de lenguaje grandes conserven información distante importante y olviden de forma eficiente los fragmentos intermedios irrelevantes, lo que mejora el rendimiento con contextos largos.

## Fuentes y referencias

1. [First Passage Attention](https://arxiv.org/abs/2610.22714) – arXiv, 2026-10-19

Última actualización: 2026-10-19