Pesquisadores descrevem uma forma de acelerar a geração de texto com contexto longo em grandes modelos de linguagem híbridos, sem retreiná-los nem alterar seus pesos. O método faz com que cada camada de atenção completa se concentre em tokens recentes, em um prefixo fixado e em um conjunto limitado de tokens relevantes selecionados no contexto mais amplo.
Em testes com seis modelos, de 4 bilhões a 397 bilhões de parâmetros, os pesquisadores relatam precisão igual à da linha de base em 21 conjuntos de dados. No Qwen3.5-4B, a decodificação de 256,000 tokens foi até 2.22 vezes mais rápida; esses são os resultados relatados no artigo, não uma avaliação independente.
Por que importa
Para equipes que executam modelos híbridos com contexto longo, os ganhos de velocidade relatados podem reduzir o tempo de decodificação sem retreinamento, embora o artigo não determine como o método se comporta nos sistemas dessas equipes.
