Команда ggml‑org выпустила llama.cpp версии b11789. В обновлении появились варианты GEMM (умножения матриц) для OpenCL с инструкциями dp4a и векторной загрузкой активаций, а также были переименованы связанные с ними ядра и переменные среды. Теперь доступны готовые бинарные сборки для Apple Silicon, macOS на Intel, iOS и нескольких вариантов Ubuntu (CPU, Vulkan, CUDA). Изменения призваны повысить производительность на GPU с поддержкой инструкции dp4a.
Почему это важно
Разработчики смогут ускорить работу llama.cpp на совместимых GPU и сократить время вывода в локальных приложениях на базе больших языковых моделей.
