Il progetto llama.cpp ha rilasciato una modifica al kernel GPU che aggiunge un percorso ottimizzato per una dimensione dello stato pari a 64. Zamba2 e chip simili usano questa dimensione e, prima della modifica, ogni passaggio di scansione veniva eseguito dalla CPU, limitando la generazione a circa 6‑7 token al secondo. Il nuovo template aumenta la velocità di circa il 35%, portando Zamba2‑7B‑Instruct da 11 a 15,1 token al secondo sullo stesso hardware. Alcune chiamate di scansione (circa il 28%) continuano a essere eseguite dalla CPU, quindi non è ancora stata raggiunta la piena parità.
Perché conta
Gli sviluppatori che usano GPU Zamba2 possono generare testo molto più velocemente senza hardware aggiuntivo.
