Oossa

llama.cpp b12530 bringt WebAssembly-SIMD-Unterstützung

Das Update überarbeitet die WebAssembly-Kernels von llama.cpp und ergänzt Unterstützung für die Formate q3_K und q6_K. Außerdem stehen Downloads für mehrere Plattformen bereit.

KurzmeldungVon Von Oossa veröffentlicht: 1 Min. Lesezeit

ggml-org hat llama.cpp b12530 mit einem WebAssembly-Update veröffentlicht: Die Relaxed-SIMD-Kernels wurden korrigiert, außerdem kam Unterstützung für die Modellformate q3_K und q6_K hinzu. Auf der Release-Seite gibt es zudem Downloads für macOS, iOS und mehrere Linux-Systeme.

Das Release umfasst unter anderem CPU-Builds für Ubuntu x64, arm64 und s390x. In den Release Notes steht nicht, wie stark sich die WebAssembly-Änderungen auf die Geschwindigkeit auswirken.

Warum es wichtig ist

Entwickler, die llama.cpp für WebAssembly erstellen, können die ergänzte Unterstützung für q3_K und q6_K nutzen. Die Release Notes beziffern jedoch keine Leistungsänderungen.

War dieser Artikel hilfreich?
Teilen

Als Nächstes lesen

Oossa · Newsletter

Die KI-Woche, erklärt

Jeden Montag: die Nachrichten, die man kennen sollte – verständlich. Kostenlos, kein Spam.