ggml-org hat llama.cpp b12530 mit einem WebAssembly-Update veröffentlicht: Die Relaxed-SIMD-Kernels wurden korrigiert, außerdem kam Unterstützung für die Modellformate q3_K und q6_K hinzu. Auf der Release-Seite gibt es zudem Downloads für macOS, iOS und mehrere Linux-Systeme.
Das Release umfasst unter anderem CPU-Builds für Ubuntu x64, arm64 und s390x. In den Release Notes steht nicht, wie stark sich die WebAssembly-Änderungen auf die Geschwindigkeit auswirken.
Warum es wichtig ist
Entwickler, die llama.cpp für WebAssembly erstellen, können die ergänzte Unterstützung für q3_K und q6_K nutzen. Die Release Notes beziffern jedoch keine Leistungsänderungen.