De opensourcebibliotheek llama.cpp bracht op 16 okt. 2026 versie b11680 uit. De update vernieuwt de code voor de Hexagon-NPU: een hack is verwijderd, er is tensorherverpakking toegevoegd voor F16/F32/BF16-gewichten en er is nu ondersteuning voor tiled Q5_K get-rows en raw k-quant-tensors. Ook zijn veel interne kernels opgeschoond en zijn de prestaties verbeterd op verschillende back-ends, waaronder CPU, CUDA, Vulkan en apparaten met Hexagon-ondersteuning. Het project biedt builds voor macOS, Linux, Android, Windows en diverse openEuler-configuraties.
Waarom het ertoe doet
Ontwikkelaars kunnen llama.cpp-modellen nu efficiënter draaien op telefoons met Hexagon en andere gespecialiseerde hardware.
