Oossa

llama.cpp b12530 får stöd för WebAssembly SIMD

Uppdateringen förbättrar llama.cpp:s WebAssembly-kärnor och lägger till stöd för formaten q3_K och q6_K. Den innehåller också nedladdningsbara versioner för flera plattformar.

NotisAv Publicerad av Oossa: 1 min läsning

ggml-org har släppt llama.cpp b12530 med en uppdatering för WebAssembly: kärnorna för relaxed SIMD har åtgärdats och stöd för modellformaten q3_K och q6_K har lagts till. På releasesidan finns också nedladdningar för macOS, iOS och flera Linux-system.

Versionen innehåller bland annat CPU-versioner för Ubuntu x64, arm64 och s390x. I versionsinformationen anges inte hur mycket WebAssembly-ändringarna påverkar hastigheten.

Varför det spelar roll

Utvecklare som bygger llama.cpp för WebAssembly kan dra nytta av det nya stödet för q3_K och q6_K, men versionsinformationen anger inte hur prestandan påverkas.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.