Het ggml-org-team heeft llama.cpp versie b11806 uitgebracht. Deze versie voegt ondersteuning toe voor LoRA met gevouwen prism.hadamard-gewichten, een techniek om fine-tuning efficiënter te maken. De release bevat ook kant-en-klare binaries voor Apple Silicon, Intel-Macs, iOS en verschillende Linux-builds, waaronder varianten voor CPU, Vulkan en CUDA. Gebruikers kunnen het juiste pakket downloaden via de GitHub-releasepagina.
Waarom het ertoe doet
Ontwikkelaars kunnen LoRA-fine-tuned modellen nu op meer platforms sneller uitvoeren, zonder de code zelf te hoeven compileren.
