Het project ggml‑org/llama.cpp heeft op 2026‑10‑21 een update uitgebracht (b11763). Die voegt een aantal OpenCL-kernels toe die matrixvermenigvuldigingen met kleine batches versnellen, waaronder q4_k dp4a GEMM en een variant van mul_mm_f16_f32 voor smalle matrices. De wijzigingen verhelpen ook een bug die tot lezen buiten de grenzen van het geheugen leidde en verwijderen een overbodige beveiliging voor terugval op de CPU. De bibliotheek werkt al op veel platforms, van Apple Silicon op macOS tot CUDA op Windows en Vulkan op Linux, en biedt nu ook betere ondersteuning voor Snapdragon-CPU's, Adreno-GPU's en Hexagon-NPU's.
Waarom het ertoe doet
Ontwikkelaars kunnen Llama-modellen sneller uitvoeren op Android-apparaten met Snapdragon-chips, waardoor AI op het apparaat praktischer wordt.
