Команда ggml-org выпустила llama.cpp версии b11685. В ней добавлена оптимизация SYCL под названием wide stores для деквантования весов q4_K и q5_K. Релиз включает готовые сборки для macOS на Apple Silicon и Intel, iOS, а также несколько сборок для Ubuntu — с поддержкой CPU, Vulkan и CUDA 12.8. Изменение призвано ускорить инференс квантованных моделей на GPU с поддержкой SYCL.
Почему это важно
Разработчики смогут быстрее запускать квантованные LLM на GPU с поддержкой SYCL, что расширяет выбор недорогого оборудования для ИИ-приложений.
