Het team van ggml-org heeft llama.cpp versie b11406 uitgebracht. Deze voegt WebGPU-ondersteuning toe voor de MMVQ-kwantisatiepaden Q1_0, Q5_0, Q5_1, Q3_K, Q5_K, Q6_K en MXFP4. De release bevat ook vooraf gebouwde binaries voor macOS (Apple Silicon en Intel), iOS en verschillende Ubuntu-versies (CPU, Vulkan en CUDA).
Waarom het ertoe doet
Ontwikkelaars kunnen nu meer LLM's met een lager geheugengebruik draaien in browsers of op GPU's die WebGPU gebruiken. Daardoor kan llama.cpp op meer plekken worden ingezet.
