Het ggml-org-team heeft llama.cpp versie b11640 uitgebracht. De update past de Vulkan-back-end aan, zodat die bij matrixvermenigvuldiging workgroups plant op een manier die beter aansluit op de L2-cache. Ook zijn er nieuwe voorgebouwde binaries voor Apple Silicon, Intel-Macs, iOS en verschillende Ubuntu-builds (CPU, Vulkan en CUDA 12.8). Gebruikers kunnen de pakketten downloaden via de GitHub-releasepagina.
Waarom het ertoe doet
De wijziging kan LLaMA-modellen sneller laten draaien op GPU’s met Vulkan-ondersteuning, wat ontwikkelaars op Linux- en Android-apparaten helpt.
