Oossa

llama.cpp b11496 får stöd för SYCL-bulkuppladdning

Open source-biblioteket llama.cpp släpptes i version b11496 den 8 okt. 2026. Nytt är en SYCL-baserad väg för att läsa in modeller i bulk via en låst ringbuffert.

NotisAv Publicerad av Oossa: 1 min läsning

ggml-org-teamet släppte llama.cpp b11496 den 8 okt. 2026. Uppdateringen lägger till ett SYCL-steg som överför stora modelluppladdningar via en låst ringbuffert och därmed snabbar upp inläsningen på kompatibla GPU:er. Det finns binärfiler att ladda ner för macOS (Apple Silicon och Intel), iOS och flera Ubuntu-versioner (CPU, Vulkan, CUDA 12).

Varför det spelar roll

Utvecklare kan läsa in stora språkmodeller snabbare på SYCL-kompatibel hårdvara, vilket minskar starttiden för appar som använder llama.cpp.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.