# Atenção esparsa acelera LLMs híbridos com contexto longo

> Pesquisadores relatam decodificação mais rápida em seis modelos híbridos, sem alterar seus pesos, e precisão igual à da linha de base em 21 conjuntos de dados de contexto longo.

Oossa · 2026-11-05 · https://oossa.com/pt/a-sparse-attention-method-speeds-up-long-context-hybrid-llms

Data do evento: 2026-11-04

Pesquisadores descrevem uma forma de acelerar a geração de texto com contexto longo em grandes modelos de linguagem híbridos, sem retreiná-los nem alterar seus pesos. O método faz com que cada camada de atenção completa se concentre em tokens recentes, em um prefixo fixado e em um conjunto limitado de tokens relevantes selecionados no contexto mais amplo.

Em testes com seis modelos, de 4 bilhões a 397 bilhões de parâmetros, os pesquisadores relatam precisão igual à da linha de base em 21 conjuntos de dados. No Qwen3.5-4B, a decodificação de 256,000 tokens foi até 2.22 vezes mais rápida; esses são os resultados relatados no artigo, não uma avaliação independente.

## Os fatos

- Os testes abrangeram seis modelos híbridos de três famílias de modelos, com parâmetros que variam de 4B a 397B.
- O artigo foi enviado ao arXiv em November 4, 2026.

## Por que importa

Para equipes que executam modelos híbridos com contexto longo, os ganhos de velocidade relatados podem reduzir o tempo de decodificação sem retreinamento, embora o artigo não determine como o método se comporta nos sistemas dessas equipes.

## Fontes e referências

1. [Accelerating Long-Context Decoding in Large-Scale Hybrid LLMs Without Retraining](https://arxiv.org/abs/2611.06133) – arXiv, 2026-11-05

Última atualização: 2026-11-05