Le projet llama.cpp a publié une modification du noyau GPU qui ajoute une voie rapide pour une taille d’état de 64. Zamba2 et des puces similaires utilisent cette taille ; avant ce changement, chaque étape du scan était exécutée sur le CPU, ce qui limitait la génération à environ 6‑7 tokens par seconde. Le nouveau modèle de calcul augmente le débit d’environ 35 % : sur le même matériel, Zamba2‑7B‑Instruct passe de 11 à 15,1 tokens par seconde. Certaines opérations de scan (environ 28 %) sont toutefois toujours exécutées sur le CPU : la parité complète n’est donc pas encore atteinte.
Pourquoi c'est important
Les développeurs qui utilisent des GPU Zamba2 peuvent générer du texte nettement plus vite sans matériel supplémentaire.
