Das llama.cpp-Projekt hat eine GPU-Kernel-Optimierung veröffentlicht, die einen schnellen Pfad für eine Zustandsgröße von 64 ergänzt. Zamba2 und ähnliche Chips verwenden diese Größe. Vor der Änderung wurde bei jedem Scan-Schritt auf die CPU zurückgegriffen, wodurch die Generierungsrate auf etwa 6‑7 Tokens pro Sekunde begrenzt war. Das neue Template erhöht den Durchsatz um rund 35 %: Auf derselben Hardware steigt die Rate bei Zamba2‑7B‑Instruct von 11 auf 15.1 Tokens pro Sekunde. Einige Scan-Aufrufe (etwa 28 %) laufen weiterhin auf der CPU, die volle Gleichstellung ist also noch nicht erreicht.
Warum es wichtig ist
Entwickler, die Zamba2-GPUs nutzen, können Texte spürbar schneller generieren – ohne zusätzliche Hardware.
