Yuxuan Liu e coautores publicaram um artigo em 19 de outubro de 2026 descrevendo a First Passage Attention (FPA). A FPA reduz o logit de uma chave com base no ponto mais baixo de um campo aprendido, permitindo apagar tokens intermediários e preservar os anteriores. Os autores mostram que uma cabeça FPA de tamanho constante pode selecionar qualquer subconjunto de chaves — algo que, nas cabeças softmax, exige uma dimensão maior. Em um modelo de linguagem com 110 M de parâmetros, a FPA iguala a perplexidade do Forgetting Transformer e é a única que recupera passkeys perfeitamente após um treinamento oito vezes mais longo que o habitual, usando apenas cerca de 25 % do cache de chave-valor.
Por que importa
A técnica permite que grandes modelos de linguagem preservem informações distantes importantes e descartem com eficiência trechos intermediários irrelevantes, melhorando o desempenho em contextos longos.
