Команда ggml‑org выпустила llama.cpp версии b11713 17 октября 2026 года. Обновление ускоряет работу CUDA с низкоразрядными типами данных благодаря более быстрому алгоритму MMVQ. Также исправлена небольшая ошибка на GPU с HIP (AMD) при использовании квантования Q3_K и Q6_K. Готовые бинарные сборки для macOS, iOS и нескольких вариантов Ubuntu (CPU, Vulkan, CUDA) уже доступны для скачивания.
Почему это важно
Разработчики смогут быстрее запускать квантованные LLM на GPU NVIDIA, снижая затраты на инференс в локальных ИИ-приложениях.
