# llama.cpp beschleunigt Zamba2-GPUs

> Das ggml-cuda-Update ergänzt einen Pfad für d_state=64. Dadurch steigt die Generierungsrate von Zamba2‑7B‑Instruct von 11 auf 15.1 Tokens pro Sekunde.

Oossa · 2026-11-08 · https://oossa.com/de/llama-cpp-adds-fast-path-for-zamba2-gpus-boosting-token-speed

Das llama.cpp-Projekt hat eine GPU-Kernel-Optimierung veröffentlicht, die einen schnellen Pfad für eine Zustandsgröße von 64 ergänzt. Zamba2 und ähnliche Chips verwenden diese Größe. Vor der Änderung wurde bei jedem Scan-Schritt auf die CPU zurückgegriffen, wodurch die Generierungsrate auf etwa 6‑7 Tokens pro Sekunde begrenzt war. Das neue Template erhöht den Durchsatz um rund 35 %: Auf derselben Hardware steigt die Rate bei Zamba2‑7B‑Instruct von 11 auf 15.1 Tokens pro Sekunde. Einige Scan-Aufrufe (etwa 28 %) laufen weiterhin auf der CPU, die volle Gleichstellung ist also noch nicht erreicht.

## Die Fakten

- Schneller Pfad für d_state=64 im SSM_SCAN-Kernel von ggml-cuda ergänzt
- Zamba2‑7B‑Instruct wurde von 11 tok/s auf 15.1 tok/s beschleunigt (etwa 35 % Zuwachs)

## Warum es wichtig ist

Entwickler, die Zamba2-GPUs nutzen, können Texte spürbar schneller generieren – ohne zusätzliche Hardware.

## Quellen und Referenzen

1. [ggml-org/llama.cpp b12207](https://github.com/ggml-org/llama.cpp/releases/tag/b12207) – llama.cpp, 2026-11-08

Zuletzt aktualisiert: 2026-11-08