Pesquisadores liderados por Jiwon Song apresentaram uma técnica chamada Joint Subspace Sparse Attention (JSSA). Ela seleciona tokens individualmente, sem precisar reuni-los antes, o que reduz o tráfego do cache KV. Em uma GPU NVIDIA B200, a JSSA alcançou uma velocidade de geração até 6,43× maior que a da atenção com KV completo em contextos de 128 K tokens. A precisão permaneceu próxima à da atenção com KV completo e à da atenção esparsa densa nativa dos modelos, mesmo em modelos com até 700 B de parâmetros.
Por que importa
A geração mais rápida com contextos longos permite que desenvolvedores criem assistentes de IA mais baratos e responsivos, capazes de ler e responder sobre documentos muito extensos.
