# llama.cpp acelera la generación en GPU con Zamba2

> La actualización de ggml-cuda añade una ruta rápida para d_state=64 y eleva la generación de Zamba2‑7B‑Instruct de 11 a 15.1 tokens por segundo.

Oossa · 2026-11-08 · https://oossa.com/es/llama-cpp-adds-fast-path-for-zamba2-gpus-boosting-token-speed

El proyecto llama.cpp publicó un ajuste del kernel para GPU que añade una ruta rápida para un tamaño de estado de 64. Zamba2 y chips similares usan este tamaño y, antes del cambio, cada paso del escaneo recurría a la CPU, lo que limitaba la generación a unos 6‑7 tokens por segundo. La nueva plantilla aumenta el rendimiento cerca de un 35%: Zamba2‑7B‑Instruct pasa de 11 a 15.1 tokens por segundo con el mismo hardware. Algunas llamadas de escaneo (alrededor del 28%) todavía se ejecutan en la CPU, por lo que aún no se alcanza la paridad total.

## Los hechos

- Se añadió una ruta rápida para d_state=64 al kernel SSM_SCAN de ggml-cuda
- La velocidad de Zamba2‑7B‑Instruct aumentó de 11 tok/s a 15.1 tok/s (una mejora de alrededor del 35%)

## Por qué importa

Los desarrolladores que usan GPU Zamba2 pueden generar texto notablemente más rápido sin necesidad de hardware adicional.

## Fuentes y referencias

1. [ggml-org/llama.cpp b12207](https://github.com/ggml-org/llama.cpp/releases/tag/b12207) – llama.cpp, 2026-11-08

Última actualización: 2026-11-08