ggml-org har släppt llama.cpp b12530 med en uppdatering för WebAssembly: kärnorna för relaxed SIMD har åtgärdats och stöd för modellformaten q3_K och q6_K har lagts till. På releasesidan finns också nedladdningar för macOS, iOS och flera Linux-system.
Versionen innehåller bland annat CPU-versioner för Ubuntu x64, arm64 och s390x. I versionsinformationen anges inte hur mycket WebAssembly-ändringarna påverkar hastigheten.
Varför det spelar roll
Utvecklare som bygger llama.cpp för WebAssembly kan dra nytta av det nya stödet för q3_K och q6_K, men versionsinformationen anger inte hur prestandan påverkas.