Het team achter ggml‑org heeft llama.cpp versie b11789 uitgebracht. De update voegt dp4a-GEMM-varianten (matrixvermenigvuldiging) voor OpenCL toe, met vectorloads voor activaties, en hernoemt verwante kernels en omgevingsvariabelen. Er zijn nu vooraf gebouwde binaries beschikbaar voor Apple Silicon, Intel-macs, iOS en verschillende Ubuntu-builds (CPU, Vulkan en CUDA). De wijzigingen zijn bedoeld om de prestaties te verbeteren op GPU's die de dp4a-instructie ondersteunen.
Waarom het ertoe doet
Ontwikkelaars kunnen llama.cpp sneller draaien op compatibele GPU's, waardoor lokale LLM-toepassingen minder tijd nodig hebben voor inferentie.
