Het ggml-org-team heeft llama.cpp versie b11747 uitgebracht. De release bevat vooraf gecompileerde binaries voor macOS Apple Silicon, macOS Intel, iOS en verschillende Ubuntu-builds, waaronder versies voor CPU, Vulkan en CUDA 12.8. Ook vermeldt de release een patch voor het aanpassen van Qwen-VL-afbeeldingen, zodat dit overeenkomt met Transformers. Gebruikers kunnen het juiste pakket downloaden via de GitHub-releasepagina.
Waarom het ertoe doet
Ontwikkelaars kunnen LLaMA-modellen lokaal op meer hardware gebruiken zonder de software zelf vanaf de broncode te hoeven bouwen.
