O projeto llama.cpp lançou um ajuste no kernel de GPU que adiciona um caminho otimizado para tamanho de estado 64. O Zamba2 e chips semelhantes usam esse tamanho e, antes da mudança, cada etapa de varredura era executada na CPU, limitando a geração a cerca de 6‑7 tokens por segundo. O novo template aumenta a taxa de processamento em aproximadamente 35%, elevando o desempenho do Zamba2‑7B‑Instruct de 11 para 15.1 tokens por segundo no mesmo hardware. Algumas chamadas de varredura (cerca de 28%) ainda são executadas na CPU, então a paridade total ainda não foi alcançada.
Por que importa
Desenvolvedores que usam GPUs Zamba2 podem gerar texto perceptivelmente mais rápido sem precisar de hardware adicional.
