L’équipe ggml-org a publié la version b11710 de llama.cpp, une nouvelle mouture de son logiciel open source permettant d’exécuter des modèles de langage. Parmi les changements annoncés figure l’ajout de la fusion top-k des experts groupés pour CUDA, une plateforme de calcul sur carte graphique. La version comprend également des tests et un ajustement lié à HIP.
La page de publication propose des téléchargements pour plusieurs systèmes, dont macOS, iOS et Linux. Elle ne fournit pas de résultats de benchmark et n’indique pas dans quelle mesure ce changement influe sur la vitesse ou l’utilisation de la mémoire.
Pourquoi c'est important
Les développeurs qui utilisent CUDA avec des modèles à experts groupés peuvent essayer cette nouvelle implémentation, mais les notes de version ne permettent pas de déterminer si elle améliore les performances en pratique.
