La version llama.cpp b11980 ajoute un noyau SYCL de flash-attention pour le décodage avec des caches clé-valeur quantifiés q4_0 et q8_0. Il prend en charge des lots de 1 à 31 tokens de requête, évitant ainsi la déquantification scalaire ou la conversion de l’ensemble du cache en f16 à chaque appel.
D’après les notes de version, sur une Intel Arc B580, Llama 3.1 8B Q4_K_M avec un cache q4_0 a atteint 54.2 tokens par seconde avec un contexte de 16K, contre 31.3 auparavant. Ce résultat concerne une configuration précise ; le traitement des prompts continue d’utiliser les noyaux existants, et le nouveau noyau peut être désactivé avec GGML_SYCL_FA_DPAS=0.
Pourquoi c'est important
Pour les personnes qui décodent sur une Intel Arc B580 avec des caches quantifiés, cela pourrait accélérer la génération de tokens dans la configuration testée ; la version ne fournit aucun élément indiquant que le traitement des prompts ou d’autres matériels bénéficieraient d’une accélération similaire.
