# llama.cpp accelera Zamba2: più velocità nella generazione

> L’aggiornamento di ggml-cuda aggiunge un percorso ottimizzato per d_state=64 e porta Zamba2‑7B‑Instruct da 11 a 15,1 token al secondo.

Oossa · 2026-11-08 · https://oossa.com/it/llama-cpp-adds-fast-path-for-zamba2-gpus-boosting-token-speed

Il progetto llama.cpp ha rilasciato una modifica al kernel GPU che aggiunge un percorso ottimizzato per una dimensione dello stato pari a 64. Zamba2 e chip simili usano questa dimensione e, prima della modifica, ogni passaggio di scansione veniva eseguito dalla CPU, limitando la generazione a circa 6‑7 token al secondo. Il nuovo template aumenta la velocità di circa il 35%, portando Zamba2‑7B‑Instruct da 11 a 15,1 token al secondo sullo stesso hardware. Alcune chiamate di scansione (circa il 28%) continuano a essere eseguite dalla CPU, quindi non è ancora stata raggiunta la piena parità.

## I fatti

- Aggiunto un percorso ottimizzato per d_state=64 al kernel SSM_SCAN di ggml-cuda
- La velocità di Zamba2‑7B‑Instruct è passata da 11 tok/s a 15,1 tok/s (incremento di circa il 35%)

## Perché conta

Gli sviluppatori che usano GPU Zamba2 possono generare testo molto più velocemente senza hardware aggiuntivo.

## Fonti e riferimenti

1. [ggml-org/llama.cpp b12207](https://github.com/ggml-org/llama.cpp/releases/tag/b12207) – llama.cpp, 2026-11-08

Ultimo aggiornamento: 2026-11-08