L’équipe ggml-org a publié la version b11640 de llama.cpp. Cette mise à jour modifie le backend Vulkan afin d’utiliser, pour la multiplication matricielle, un ordonnancement des groupes de travail mieux adapté au cache L2. Elle fournit également de nouveaux binaires précompilés pour Apple Silicon, les Mac Intel, iOS et plusieurs versions d’Ubuntu (CPU, Vulkan et CUDA 12.8). Les utilisateurs peuvent télécharger les paquets depuis la page de publication GitHub.
Pourquoi c'est important
Cette modification peut accélérer l’exécution des modèles LLaMA sur les GPU compatibles avec Vulkan, ce qui est utile aux développeurs travaillant sous Linux et sur des appareils Android.
