Projektet llama.cpp har släppt en justering av GPU-kärnan som lägger till en snabbare väg för tillståndsstorleken 64. Zamba2 och liknande kretsar använder den storleken, och före ändringen kördes varje skanningssteg i stället på CPU:n, vilket begränsade genereringen till cirka 6‑7 tokens per sekund. Den nya mallen ökar genomströmningen med ungefär 35 procent och höjer hastigheten för Zamba2‑7B‑Instruct från 11 till 15.1 tokens per sekund på samma hårdvara. Vissa skanningsanrop (cirka 28 procent) körs fortfarande på CPU:n, så prestandan är ännu inte helt likvärdig.
Varför det spelar roll
Utvecklare som använder Zamba2-GPU:er kan generera text märkbart snabbare utan extra hårdvara.
