L’équipe ggml-org a publié llama.cpp version b12124, qui apporte une nouveauté à la prise en charge d’OpenCL : le logiciel peut désormais traiter des opérations sigmoid sur des données non contiguës. OpenCL est un cadre permettant d’exécuter des tâches de calcul sur différents processeurs.
La page de la version propose également des téléchargements précompilés pour macOS, iOS et Ubuntu, notamment des versions pour CPU et Vulkan. Elle ne mentionne pas d’autres améliorations des performances ni les utilisateurs susceptibles de constater une différence.
Pourquoi c'est important
Les développeurs qui utilisent llama.cpp avec OpenCL peuvent désormais accéder à cette opération prise en charge, mais les notes de version ne permettent pas de savoir si elle améliore la vitesse ou change quoi que ce soit pour les utilisateurs au quotidien.
