Проект llama.cpp выпустил обновление ядра GPU, добавляющее быстрый путь для размера состояния 64. Zamba2 и аналогичные чипы используют этот размер, а до изменений каждый шаг сканирования выполнялся на CPU, ограничивая скорость генерации примерно 6–7 токенами в секунду. Новый шаблон увеличивает пропускную способность примерно на 35%: на том же оборудовании скорость Zamba2‑7B‑Instruct выросла с 11 до 15.1 токена в секунду. Некоторые вызовы сканирования (около 28%) по-прежнему выполняются на CPU, поэтому полной эквивалентности пока добиться не удалось.
Почему это важно
Разработчики, использующие GPU Zamba2, смогут заметно быстрее генерировать текст без дополнительного оборудования.
