La version b11971 de llama.cpp, publiée par ggml-org, ajoute une opération matricielle q4_K tuilée en OpenCL pour les GPU Adreno. Elle fait également passer la couche de sortie des modèles de langage en q4_K par cette opération lorsque la taille du lot est supérieure à un.
La version propose des compilations téléchargeables pour macOS, iOS et plusieurs plateformes Linux. Les notes de version ne fournissent aucune mesure de performances : on ne sait donc pas quel est l’effet de cette évolution pour Adreno sur la vitesse ou l’utilisation des ressources.
Pourquoi c'est important
Les développeurs qui utilisent llama.cpp sur du matériel Adreno peuvent essayer cette nouvelle voie OpenCL, mais les notes de version ne précisent pas si elle accélère l’inférence.
