Het llama.cpp-project heeft een aanpassing aan de GPU-kernel uitgebracht die een snelle route toevoegt voor een state size van 64. Zamba2 en vergelijkbare chips gebruiken deze grootte. Tot nu toe viel elke scanstap terug op de CPU, waardoor de generatiesnelheid beperkt bleef tot ongeveer 6‑7 tokens per seconde. De nieuwe template verhoogt de doorvoer met ongeveer 35%: op dezelfde hardware gaat Zamba2‑7B‑Instruct van 11 naar 15.1 tokens per seconde. Sommige scans (ongeveer 28%) worden nog steeds op de CPU uitgevoerd, dus volledige gelijkwaardigheid is nog niet bereikt.
Waarom het ertoe doet
Ontwikkelaars die Zamba2-GPU’s gebruiken, kunnen merkbaar sneller tekst genereren zonder extra hardware.
