Команда ggml-org выпустила llama.cpp версии b11827. В обновление вошли ядра depthwise conv2d для OpenCL, в том числе поддержка графических процессоров Qualcomm Adreno. Готовые сборки теперь доступны для macOS на Apple Silicon, macOS на Intel, iOS и нескольких платформ Ubuntu (CPU и Vulkan). Изменения внесли OpenCode и инженер Qualcomm Li He.
Почему это важно
Теперь разработчики могут быстрее запускать модели llama.cpp на устройствах с графическими процессорами OpenCL, что расширяет возможности использования маломощного оборудования.