# Pesquisadores apresentam atenção com esquecimento seletivo

> Novo método de atenção permite que modelos descartem o contexto intermediário sem perder tokens mais antigos; foi testado em um modelo de 110 M de parâmetros.

Oossa · 2026-10-19 · https://oossa.com/pt/researchers-introduce-first-passage-attention-for-selective-forgetting

Yuxuan Liu e coautores publicaram um artigo em 19 de outubro de 2026 descrevendo a First Passage Attention (FPA). A FPA reduz o logit de uma chave com base no ponto mais baixo de um campo aprendido, permitindo apagar tokens intermediários e preservar os anteriores. Os autores mostram que uma cabeça FPA de tamanho constante pode selecionar qualquer subconjunto de chaves — algo que, nas cabeças softmax, exige uma dimensão maior. Em um modelo de linguagem com 110 M de parâmetros, a FPA iguala a perplexidade do Forgetting Transformer e é a única que recupera passkeys perfeitamente após um treinamento oito vezes mais longo que o habitual, usando apenas cerca de 25 % do cache de chave-valor.

## Os fatos

- A First Passage Attention foi proposta em um artigo publicado em 19 de outubro de 2026
- Foi testada em um modelo de linguagem com 110 M de parâmetros e recuperou passkeys perfeitamente após um treinamento 8× mais longo

## Por que importa

A técnica permite que grandes modelos de linguagem preservem informações distantes importantes e descartem com eficiência trechos intermediários irrelevantes, melhorando o desempenho em contextos longos.

## Fontes e referências

1. [First Passage Attention](https://arxiv.org/abs/2610.22714) – arXiv, 2026-10-19

Última atualização: 2026-10-19