Projektet ggml‑org/llama.cpp släppte en uppdatering (b11763) den 2026‑10‑21. Den innehåller flera OpenCL-kärnor som snabbar upp matrismultiplikationer med små batcher, bland annat q4_k dp4a GEMM och en smal variant av mul_mm_f16_f32. Ändringarna åtgärdar också en bugg som ledde till läsning utanför tillåtet minnesområde och tar bort en onödig spärr för CPU-reservlösningen. Biblioteket fungerar redan på många plattformar, från Apple Silicon på macOS till CUDA på Windows och Vulkan på Linux, och ger nu bättre stöd för Snapdragon-processorer, Adreno-GPU:er och Hexagon-NPU:er.
Varför det spelar roll
Utvecklare kan köra Llama-modeller snabbare på Android-enheter med Snapdragon-chip, vilket gör AI direkt på enheten mer användbart.
