# llama.cpp versnelt Zamba2-GPU’s met nieuwe snelle route

> De ggml-cuda-update voegt een route toe voor d_state=64. Daardoor stijgt de generatiesnelheid van Zamba2‑7B‑Instruct van 11 naar 15.1 tokens per seconde.

Oossa · 2026-11-08 · https://oossa.com/nl/llama-cpp-adds-fast-path-for-zamba2-gpus-boosting-token-speed

Het llama.cpp-project heeft een aanpassing aan de GPU-kernel uitgebracht die een snelle route toevoegt voor een state size van 64. Zamba2 en vergelijkbare chips gebruiken deze grootte. Tot nu toe viel elke scanstap terug op de CPU, waardoor de generatiesnelheid beperkt bleef tot ongeveer 6‑7 tokens per seconde. De nieuwe template verhoogt de doorvoer met ongeveer 35%: op dezelfde hardware gaat Zamba2‑7B‑Instruct van 11 naar 15.1 tokens per seconde. Sommige scans (ongeveer 28%) worden nog steeds op de CPU uitgevoerd, dus volledige gelijkwaardigheid is nog niet bereikt.

## De feiten

- Snelle route voor d_state=64 toegevoegd aan de ggml-cuda SSM_SCAN-kernel
- Zamba2‑7B‑Instruct gaat van 11 tok/s naar 15.1 tok/s (ongeveer 35% sneller)

## Waarom het ertoe doet

Ontwikkelaars die Zamba2-GPU’s gebruiken, kunnen merkbaar sneller tekst genereren zonder extra hardware.

## Bronnen en referenties

1. [ggml-org/llama.cpp b12207](https://github.com/ggml-org/llama.cpp/releases/tag/b12207) – llama.cpp, 2026-11-08

Laatst bijgewerkt: 2026-11-08