L’équipe ggml-org a publié la version b12291 de llama.cpp. Elle ajoute une optimisation basée sur Vulkan qui déquantifie le cache clé-valeur à l’aide de l’instruction coopmat2. Cette optimisation n’est appliquée que si une heuristique fondée sur le nombre de jetons de requête et le ratio GQA la juge sûre. La mise à jour corrige également la gestion de l’alignement pour certaines tailles de tête, ce qui améliore les performances lorsque l’optimisation ne peut pas être utilisée.
Pourquoi c'est important
Les développeurs qui exécutent des modèles Llama sur du matériel compatible avec Vulkan peuvent bénéficier d’une inférence plus rapide sans modifier leur code.
