# llama.cpp voegt OpenCL-kernels toe voor kleine batches

> De opensourcebibliotheek voor Llama-inferentie bevat nu meerdere geoptimaliseerde OpenCL-GEMM-varianten voor kleine batches, met uitgebreidere ondersteuning voor Snapdragon-GPU's.

Oossa · 2026-10-20 · https://oossa.com/nl/llama-cpp-adds-new-opencl-kernels-for-small-batch-workloads

Het project ggml‑org/llama.cpp heeft op 2026‑10‑21 een update uitgebracht (b11763). Die voegt een aantal OpenCL-kernels toe die matrixvermenigvuldigingen met kleine batches versnellen, waaronder q4_k dp4a GEMM en een variant van mul_mm_f16_f32 voor smalle matrices. De wijzigingen verhelpen ook een bug die tot lezen buiten de grenzen van het geheugen leidde en verwijderen een overbodige beveiliging voor terugval op de CPU. De bibliotheek werkt al op veel platforms, van Apple Silicon op macOS tot CUDA op Windows en Vulkan op Linux, en biedt nu ook betere ondersteuning voor Snapdragon-CPU's, Adreno-GPU's en Hexagon-NPU's.

## De feiten

- Meerdere OpenCL-GEMM-varianten voor kleine batches toegevoegd (bijvoorbeeld q4_k dp4a en mul_mm_f16_f32).
- Releasedatum: 2026‑10‑21.

## Waarom het ertoe doet

Ontwikkelaars kunnen Llama-modellen sneller uitvoeren op Android-apparaten met Snapdragon-chips, waardoor AI op het apparaat praktischer wordt.

## Bronnen en referenties

1. [ggml-org/llama.cpp b11763](https://github.com/ggml-org/llama.cpp/releases/tag/b11763) – llama.cpp, 2026-10-20

Laatst bijgewerkt: 2026-10-20