L’équipe ggml-org a publié llama.cpp b11345, qui ajoute la prise en charge des types de quantification q2_k et q3_k sur Hexagon. La quantification permet de stocker les données des modèles avec moins de bits. Les notes de version ne précisent pas quels appareils ou modèles en tirent parti ni si les performances évoluent.
La version propose également des téléchargements pour macOS, iOS et plusieurs configurations Linux, notamment des versions pour CPU et Vulkan.
Pourquoi c'est important
Les personnes qui utilisent llama.cpp sur du matériel Hexagon compatible pourraient faire tourner des modèles quantifiés en q2_k ou q3_k, mais les notes de version ne précisent ni les appareils compatibles ni les effets sur les performances.
