ggml-org-teamet har släppt llama.cpp version b11784. Uppdateringen åtgärdar en krasch i Sycl iq3-backenden. Versionen innehåller färdigbyggda binärer för Apple Silicon, Intel-Macar, iOS och flera Ubuntu-konfigurationer, däribland Vulkan och CUDA 12.8. Binärerna kan laddas ner från GitHub-sidan för versionen.
Varför det spelar roll
Utvecklare kan nu köra llama.cpp på fler typer av hårdvara utan krascher, vilket gör lokal inferens med LLM:er tillgänglig för fler.