Het ggml-org-team heeft llama.cpp versie b11465 uitgebracht. Die bevat vooraf gecompileerde binaries voor macOS met Apple Silicon (arm64), macOS met Intel (x64), iOS en verschillende Ubuntu-varianten (CPU, Vulkan en CUDA 12.8). Ook is er een test aangepast om het anker te behouden bij het testen van terugdraaien in een recurrent model. Alle bestanden zijn te downloaden via de releasepagina op GitHub.
Waarom het ertoe doet
Ontwikkelaars kunnen nu op meer soorten hardware lokaal LLM's draaien zonder de code zelf te compileren.
