# llama.cpp ускорила работу с небольшими пакетами на OpenCL

> В библиотеке с открытым исходным кодом для инференса Llama появились оптимизированные варианты GEMM для OpenCL, расширяющие поддержку графических процессоров Snapdragon.

Oossa · 2026-10-20 · https://oossa.com/ru/llama-cpp-adds-new-opencl-kernels-for-small-batch-workloads

Проект ggml‑org/llama.cpp выпустил обновление b11763 от 2026‑10‑21. В него добавили несколько ядер OpenCL, ускоряющих умножение матриц при небольших размерах пакетов, в том числе q4_k dp4a GEMM и узкий вариант mul_mm_f16_f32. Обновление также исправляет ошибку чтения за пределами буфера и удаляет ненужную защиту от перехода на вычисления с помощью CPU. Библиотека уже работает на множестве платформ — от Apple Silicon под macOS до CUDA в Windows и Vulkan в Linux, — а теперь лучше поддерживает процессоры Snapdragon, графические процессоры Adreno и NPU Hexagon.

## Факты

- Добавлены несколько вариантов GEMM для OpenCL при небольших размерах пакетов (например, q4_k dp4a и mul_mm_f16_f32).
- Дата выпуска: 2026‑10‑21.

## Почему это важно

Разработчики смогут быстрее запускать модели Llama на Android-устройствах с чипами Snapdragon, что сделает практичнее использование ИИ непосредственно на устройстве.

## Источники и ссылки

1. [ggml-org/llama.cpp b11763](https://github.com/ggml-org/llama.cpp/releases/tag/b11763) – llama.cpp, 2026-10-20

Обновлено: 2026-10-20