Oossa

llama.cpp får nya Q8_0- och i8mm-kärnor för Apple och Linux

Det öppna inferensbiblioteket LLaMA innehåller nu snabbare kvantiserade kärnor för ARM SVE och i8mm, samt nya binärfiler för macOS, iOS och Ubuntu.

NotisAv Publicerad av Oossa: 1 min läsning

Projektet llama.cpp släppte version b11811 den 22 okt 2026. Uppdateringen lägger till Q8_0 SVE-kärnor för dot-product GEMV och SVE i8mm GEMM, som snabbar upp inferens av kvantiserade modeller på ARM-processorer. Förkompilerade binärfiler för macOS på Apple Silicon, Intel, iOS och flera Ubuntu-versioner (CPU, Vulkan, CUDA 12.8) finns nu att ladda ner.

Varför det spelar roll

Utvecklare kan köra LLaMA-modeller snabbare på nyare ARM-hårdvara och Linux-grafikkort utan att skriva egen kod.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.