Команда ggml‑org выпустила версию llama.cpp b11640. В обновлении для бэкенда Vulkan добавили планирование рабочих групп с учётом кэша L2 при умножении матриц. Также доступны новые готовые бинарные сборки для Apple Silicon, компьютеров Mac с процессорами Intel, iOS и нескольких вариантов Ubuntu — для CPU, Vulkan и CUDA 12.8. Скачать пакеты можно на странице релиза на GitHub.
Почему это важно
Изменение может ускорить запуск моделей LLaMA на графических процессорах с поддержкой Vulkan и пригодится разработчикам, работающим на устройствах с Linux и Android.
