Oossa

llama.cpp får DP4A-kärnor för kvantiserade modeller

Det öppna inferensbiblioteket LLaMA har nu stöd för cooperative-k DP4A GEMM med formaten q4_0, q4_k och q6_k.

NotisAv Publicerad av Oossa: 1 min läsning

Projektet ggml‑org/llama.cpp släppte version b11741 den 2026‑10‑19. Uppdateringen innehåller nya OpenCL-kärnor som använder DP4A-instruktioner för att snabba upp matrismultiplikationer för tre kvantiserade format: q4_0, q4_k och q6_k. Den åtgärdar också ett justeringsproblem och innehåller färdigbyggda binärer för macOS (Apple Silicon och Intel) och flera Ubuntu-versioner, däribland Vulkan-byggen.

Varför det spelar roll

Utvecklare kan köra LLaMA-modeller snabbare på OpenCL-kompatibla grafikkort, vilket gör lokal inferens mer praktisk.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.