Команда ggml-org выпустила llama.cpp версии b11413 5 октября 2026 года. В обновлении появилась реализация разреженного flash-внимания для Vulkan, работающая с квантованными тензорами ключей и значений. Изменение описано как «разреженное flash-внимание для квантованных K/V» и предназначено для инференса с ускорением на GPU. В релизе также перечислены сборки для множества платформ — от macOS на Apple Silicon до Windows с CUDA и Vulkan.
Почему это важно
Теперь разработчики могут быстрее запускать квантованные модели на GPU с поддержкой Vulkan, снижая вычислительные затраты на устройствах периферийных вычислений.
