L’équipe ggml-org a publié llama.cpp b12031, qui inaugure la prise en charge d’OpenCL pour IQ3, deux formats compacts de poids de modèle. La mise à jour ajoute des opérations pour IQ3_S et IQ3_XXS, notamment des opérations matricielles et vectorielles, ainsi que des chemins spécifiques aux GPU Adreno de Qualcomm.
Les notes de version mentionnent également des optimisations du décodage et la prise en charge de lots plus petits sur Adreno. Elles ne fournissent aucune comparaison de vitesse : l’effet concret sur les performances n’est donc pas précisé.
Pourquoi c'est important
Les développeurs qui utilisent llama.cpp sur des GPU Adreno peuvent essayer ces chemins OpenCL avec des modèles IQ3, mais les notes de version ne permettent pas de savoir s’ils sont plus rapides ni quels appareils en profitent le plus.
