# llama.cpp ускорил работу Zamba2 на GPU

> Обновление ggml-cuda добавляет обработку d_state=64 и повышает скорость генерации Zamba2‑7B‑Instruct с 11 до 15.1 токена в секунду.

Oossa · 2026-11-08 · https://oossa.com/ru/llama-cpp-adds-fast-path-for-zamba2-gpus-boosting-token-speed

Проект llama.cpp выпустил обновление ядра GPU, добавляющее быстрый путь для размера состояния 64. Zamba2 и аналогичные чипы используют этот размер, а до изменений каждый шаг сканирования выполнялся на CPU, ограничивая скорость генерации примерно 6–7 токенами в секунду. Новый шаблон увеличивает пропускную способность примерно на 35%: на том же оборудовании скорость Zamba2‑7B‑Instruct выросла с 11 до 15.1 токена в секунду. Некоторые вызовы сканирования (около 28%) по-прежнему выполняются на CPU, поэтому полной эквивалентности пока добиться не удалось.

## Факты

- В ядро SSM_SCAN в ggml-cuda добавлен быстрый путь для d_state=64
- Скорость Zamba2‑7B‑Instruct выросла с 11 до 15.1 токена/с (примерно на 35%)

## Почему это важно

Разработчики, использующие GPU Zamba2, смогут заметно быстрее генерировать текст без дополнительного оборудования.

## Источники и ссылки

1. [ggml-org/llama.cpp b12207](https://github.com/ggml-org/llama.cpp/releases/tag/b12207) – llama.cpp, 2026-11-08

Обновлено: 2026-11-08