El proyecto llama.cpp publicó un ajuste del kernel para GPU que añade una ruta rápida para un tamaño de estado de 64. Zamba2 y chips similares usan este tamaño y, antes del cambio, cada paso del escaneo recurría a la CPU, lo que limitaba la generación a unos 6‑7 tokens por segundo. La nueva plantilla aumenta el rendimiento cerca de un 35%: Zamba2‑7B‑Instruct pasa de 11 a 15.1 tokens por segundo con el mismo hardware. Algunas llamadas de escaneo (alrededor del 28%) todavía se ejecutan en la CPU, por lo que aún no se alcanza la paridad total.
Por qué importa
Los desarrolladores que usan GPU Zamba2 pueden generar texto notablemente más rápido sin necesidad de hardware adicional.
