Команда ggml-org выпустила llama.cpp версии b12291. В обновлении появилась оптимизация на базе Vulkan: она деквантизирует KV-кэш с помощью инструкции coopmat2. Оптимизация применяется, только если эвристика на основе числа токенов запроса и коэффициента GQA считает это безопасным. В обновлении также исправлена обработка выравнивания для некоторых размеров голов, что повышает производительность, когда оптимизацию применить нельзя.
Почему это важно
Разработчики, запускающие модели Llama на оборудовании с поддержкой Vulkan, смогут ускорить инференс без изменений в коде.
