ggml-org-teamet har släppt llama.cpp version b12345. Uppdateringen lägger till stöd för kvantisering med Q5_0 och Q5_1, en 5-bitars komprimering som kan snabba upp inferens. Den innehåller också särskilda kärnor för formaten på Hexagon-enheter. Förkompilerade binärfiler finns för macOS med Apple Silicon, macOS med Intel, iOS och flera Ubuntu-versioner, däribland varianter som bara använder CPU och varianter med Vulkan.
Varför det spelar roll
Utvecklare kan köra LLM:er snabbare på strömsnål hårdvara, vilket gör att fler typer av enheter kan användas för att köra lokala AI-modeller.
