Teamet ggml-org har släppt llama.cpp version b11487. Uppdateringen lägger till stöd för tiled Q4_K och Q6_K GET_ROWS på Hexagon-processorer och förbättrar hanteringen av Q4_K-vyer. Färdigbyggda binärfiler finns för Apple Silicon, Intel-baserade Mac-datorer, iOS och flera Ubuntu-versioner (CPU och Vulkan). Uppdateringen kan laddas ner från GitHub-sidan för releasen.
Varför det spelar roll
Utvecklare kan nu köra fler Llama-modeller effektivt på enheter med Hexagon, till exempel Qualcomm-chip, vilket förbättrar prestandan på kompatibel mobil och inbäddad hårdvara.
