De opensourcelibrary llama.cpp bracht op 15 okt. 2026 versie b11632 uit. De update voegt een GDN-kernel (Gaussian-Diffusion-Normalization) toe die in chunks werkt voor zowel CUDA als HIP, en verbetert daarmee de GPU-ondersteuning. Na tests op correctheid en prefill-benchmarks ondersteunt de software nu de instructiesets SM86 en SM89 op geteste Ampere- en Ada-GPU’s, waaronder de RTX 3090 en RTX 4090. Ook zijn er oplossingen voor oudere builds doorgevoerd en gebruikt de code nu een vernieuwde swizzle-API voor de GDN-MMA-fase (matrixvermenigvuldiging en accumulatie).
Waarom het ertoe doet
Ontwikkelaars kunnen llama.cpp-inferentie op recente Nvidia-GPU’s sneller en betrouwbaarder uitvoeren.
