ggml-org-teamet har släppt llama.cpp version b11747. Den innehåller färdigkompilerade binärer för macOS med Apple Silicon, macOS med Intel, iOS och flera Ubuntu-versioner, bland annat för CPU, Vulkan och CUDA 12.8. I versionsinformationen nämns också en korrigering av Qwen-VL:s storleksändring så att den överensstämmer med Transformers. Användare kan ladda ner rätt paket från versionssidan på GitHub.
Varför det spelar roll
Utvecklare kan köra LLaMA-modeller lokalt på fler typer av hårdvara utan att behöva kompilera från källkod.
