# llama.cpp snabbar upp Zamba2-GPU:er med ny optimering

> Uppdateringen av ggml-cuda lägger till en väg för d_state=64 och höjer genereringstakten för Zamba2‑7B‑Instruct från 11 till 15.1 tokens per sekund.

Oossa · 2026-11-08 · https://oossa.com/sv/llama-cpp-adds-fast-path-for-zamba2-gpus-boosting-token-speed

Projektet llama.cpp har släppt en justering av GPU-kärnan som lägger till en snabbare väg för tillståndsstorleken 64. Zamba2 och liknande kretsar använder den storleken, och före ändringen kördes varje skanningssteg i stället på CPU:n, vilket begränsade genereringen till cirka 6‑7 tokens per sekund. Den nya mallen ökar genomströmningen med ungefär 35 procent och höjer hastigheten för Zamba2‑7B‑Instruct från 11 till 15.1 tokens per sekund på samma hårdvara. Vissa skanningsanrop (cirka 28 procent) körs fortfarande på CPU:n, så prestandan är ännu inte helt likvärdig.

## Fakta

- La till en snabbare väg för d_state=64 i ggml-cuda-kärnan SSM_SCAN
- Höjde hastigheten för Zamba2‑7B‑Instruct från 11 tok/s till 15.1 tok/s (cirka 35 procents ökning)

## Varför det spelar roll

Utvecklare som använder Zamba2-GPU:er kan generera text märkbart snabbare utan extra hårdvara.

## Källor och referenser

1. [ggml-org/llama.cpp b12207](https://github.com/ggml-org/llama.cpp/releases/tag/b12207) – llama.cpp, 2026-11-08

Senast uppdaterad: 2026-11-08