Teamet bakom ggml-org publicerade llama.cpp version b11713 den 17 okt 2026. Uppdateringen förbättrar CUDA-prestandan för lågbitstyper med en snabbare MMVQ-algoritm. Den innehåller också en mindre korrigering för HIP-GPU:er från AMD vid kvantisering med Q3_K och Q6_K. Färdigbyggda binärfiler för macOS, iOS och flera Ubuntu-varianter (CPU, Vulkan och CUDA) finns nu att ladda ner.
Varför det spelar roll
Utvecklare kan köra kvantiserade LLM-modeller snabbare på NVIDIA-GPU:er, vilket sänker inferenskostnaderna för lokala AI-program.
