Het team van ggml-org publiceerde op 17 okt 2026 versie b11713 van llama.cpp. De update verbetert de CUDA-prestaties voor low-bittypen met een sneller MMVQ-algoritme. Ook bevat de update een kleine oplossing voor HIP (AMD)-GPU’s bij de quantisaties Q3_K en Q6_K. Voorgebouwde binaries voor macOS, iOS en verschillende Ubuntu-doelen (CPU, Vulkan, CUDA) zijn nu beschikbaar om te downloaden.
Waarom het ertoe doet
Ontwikkelaars kunnen gequantiseerde LLM’s sneller uitvoeren op NVIDIA-GPU’s, waardoor de inferentiekosten voor lokale AI-toepassingen dalen.
