Oossa

llama.cpp b12530 ajoute la prise en charge de SIMD dans WebAssembly

Cette version met à jour les noyaux WebAssembly de llama.cpp et ajoute la prise en charge des formats q3_K et q6_K. Des versions téléchargeables sont également proposées pour plusieurs plateformes.

BrèvePar Publié par Oossa: 1 min de lecture

ggml-org a publié llama.cpp b12530, qui apporte une mise à jour à WebAssembly : les noyaux SIMD relaxed ont été corrigés et la prise en charge des formats de modèle q3_K et q6_K a été ajoutée. La page de la version propose aussi des téléchargements pour macOS, iOS et plusieurs systèmes Linux.

La version comprend notamment des compilations CPU pour Ubuntu en x64, arm64 et s390x. Les notes de version ne précisent pas dans quelle mesure les changements apportés à WebAssembly améliorent la vitesse.

Pourquoi c'est important

Les développeurs qui compilent llama.cpp pour WebAssembly peuvent désormais utiliser les formats q3_K et q6_K, même si les notes de version ne chiffrent pas les changements de performances.

Cet article vous a-t-il été utile ?
Partager

À lire ensuite

Oossa · Newsletter

La semaine de l'IA, expliquée

Chaque lundi : l'essentiel de l'actualité, en langage clair. Gratuit, sans spam.