# llama.cpp får nya OpenCL-kärnor för små batcher

> Det öppna Llama-biblioteket för inferens har nu flera optimerade OpenCL-varianter av GEMM för körningar med små batcher, vilket utökar stödet för Snapdragon-GPU:er.

Oossa · 2026-10-20 · https://oossa.com/sv/llama-cpp-adds-new-opencl-kernels-for-small-batch-workloads

Projektet ggml‑org/llama.cpp släppte en uppdatering (b11763) den 2026‑10‑21. Den innehåller flera OpenCL-kärnor som snabbar upp matrismultiplikationer med små batcher, bland annat q4_k dp4a GEMM och en smal variant av mul_mm_f16_f32. Ändringarna åtgärdar också en bugg som ledde till läsning utanför tillåtet minnesområde och tar bort en onödig spärr för CPU-reservlösningen. Biblioteket fungerar redan på många plattformar, från Apple Silicon på macOS till CUDA på Windows och Vulkan på Linux, och ger nu bättre stöd för Snapdragon-processorer, Adreno-GPU:er och Hexagon-NPU:er.

## Fakta

- Flera OpenCL-varianter av GEMM för små batcher har lagts till (till exempel q4_k dp4a och mul_mm_f16_f32).
- Releasedatum: 2026‑10‑21.

## Varför det spelar roll

Utvecklare kan köra Llama-modeller snabbare på Android-enheter med Snapdragon-chip, vilket gör AI direkt på enheten mer användbart.

## Källor och referenser

1. [ggml-org/llama.cpp b11763](https://github.com/ggml-org/llama.cpp/releases/tag/b11763) – llama.cpp, 2026-10-20

Senast uppdaterad: 2026-10-20