Het ggml-org-team heeft versie b12361 van llama.cpp uitgebracht. De update haalt de MOE-cachecode uit de interne grafiekverwerking en voegt nieuwe kant-en-klare binaries toe voor macOS (Apple Silicon en Intel), iOS en verschillende Ubuntu-versies, waaronder builds voor CPU en Vulkan. Er staat ook een macOS-binary voor Apple Silicon met KleidiAI vermeld, maar die is momenteel uitgeschakeld. Alle bestanden zijn te downloaden via de GitHub-releasepagina.
Waarom het ertoe doet
Ontwikkelaars kunnen llama.cpp nu op meer platforms lokaal gebruiken zonder het programma zelf te compileren, zodat ze sneller kunnen experimenteren.
