Oossa

llama.cpp voegt OpenCL DP4A-kernels toe voor gekwantiseerde modellen

De open source-inferentiebibliotheek LLaMA ondersteunt nu cooperative-k DP4A-GEMM voor de formaten q4_0, q4_k en q6_k.

Kort berichtDoor Gepubliceerd door Oossa: 1 min lezen

Het project ggml-org/llama.cpp bracht op 2026-10-19 versie b11741 uit. De update voegt nieuwe OpenCL-kernels toe die DP4A-instructies gebruiken om matrixvermenigvuldigingen voor drie gekwantiseerde formaten te versnellen: q4_0, q4_k en q6_k. Ook wordt een uitlijningsprobleem verholpen en bevat de release vooraf gebouwde binaries voor macOS (Apple Silicon en Intel) en verschillende Ubuntu-doelen, waaronder Vulkan-builds.

Waarom het ertoe doet

Ontwikkelaars kunnen LLaMA-modellen sneller draaien op OpenCL-compatibele GPU’s, waardoor lokale inferentie praktischer wordt.

Was dit artikel nuttig?
Delen

Lees ook

Oossa · Nieuwsbrief

De AI-week, uitgelegd

Elke maandag: het nieuws dat ertoe doet, in gewone taal. Gratis, geen spam.