Teamet ggml-org har släppt llama.cpp version b11789. Uppdateringen lägger till dp4a-varianter av GEMM (matrismultiplikation) för OpenCL med vektoriserad inläsning av aktiveringsvärden och byter namn på relaterade kärnor och miljövariabler. Förkompilerade binärfiler finns nu för Apple Silicon, Intel-baserade Mac-datorer, iOS och flera Ubuntu-byggen (CPU, Vulkan, CUDA). Ändringarna syftar till att förbättra prestandan på GPU:er som stöder dp4a-instruktionen.
Varför det spelar roll
Utvecklare kan köra llama.cpp snabbare på kompatibla GPU:er och därmed minska inferenstiden för lokala LLM-applikationer.
