Het team achter ggml-org heeft llama.cpp versie b11784 uitgebracht. De update verhelpt een crash in de Sycl iq3-backend. De release bevat vooraf gebouwde binaries voor Apple Silicon, Intel-Macs, iOS en verschillende Ubuntu-configuraties, waaronder Vulkan en CUDA 12.8. De binaries zijn te downloaden via de GitHub-releasepagina.
Waarom het ertoe doet
Ontwikkelaars kunnen llama.cpp nu op meer hardware gebruiken zonder crashes, waardoor lokale LLM-inferentie voor meer mensen beschikbaar komt.