# llama.cpp acelera a geração em GPUs Zamba2

> A atualização do ggml-cuda adiciona um caminho otimizado para d_state=64 e aumenta a geração do Zamba2‑7B‑Instruct de 11 para 15.1 tokens por segundo.

Oossa · 2026-11-08 · https://oossa.com/pt/llama-cpp-adds-fast-path-for-zamba2-gpus-boosting-token-speed

O projeto llama.cpp lançou um ajuste no kernel de GPU que adiciona um caminho otimizado para tamanho de estado 64. O Zamba2 e chips semelhantes usam esse tamanho e, antes da mudança, cada etapa de varredura era executada na CPU, limitando a geração a cerca de 6‑7 tokens por segundo. O novo template aumenta a taxa de processamento em aproximadamente 35%, elevando o desempenho do Zamba2‑7B‑Instruct de 11 para 15.1 tokens por segundo no mesmo hardware. Algumas chamadas de varredura (cerca de 28%) ainda são executadas na CPU, então a paridade total ainda não foi alcançada.

## Os fatos

- Adicionado um caminho otimizado para d_state=64 ao kernel SSM_SCAN do ggml-cuda
- A velocidade do Zamba2‑7B‑Instruct aumentou de 11 tok/s para 15.1 tok/s (ganho de ~35%)

## Por que importa

Desenvolvedores que usam GPUs Zamba2 podem gerar texto perceptivelmente mais rápido sem precisar de hardware adicional.

## Fontes e referências

1. [ggml-org/llama.cpp b12207](https://github.com/ggml-org/llama.cpp/releases/tag/b12207) – llama.cpp, 2026-11-08

Última atualização: 2026-11-08