ggml-org a publié llama.cpp b12530, qui apporte une mise à jour à WebAssembly : les noyaux SIMD relaxed ont été corrigés et la prise en charge des formats de modèle q3_K et q6_K a été ajoutée. La page de la version propose aussi des téléchargements pour macOS, iOS et plusieurs systèmes Linux.
La version comprend notamment des compilations CPU pour Ubuntu en x64, arm64 et s390x. Les notes de version ne précisent pas dans quelle mesure les changements apportés à WebAssembly améliorent la vitesse.
Pourquoi c'est important
Les développeurs qui compilent llama.cpp pour WebAssembly peuvent désormais utiliser les formats q3_K et q6_K, même si les notes de version ne chiffrent pas les changements de performances.