# llama.cpp accélère l’attention SYCL avec les caches quantifiés

> La version b11980 ajoute un noyau GPU Intel pour le décodage par petits lots avec des caches KV q4_0 et q8_0 ; le traitement des prompts conserve les noyaux existants.

Oossa · 2026-10-29 · https://oossa.com/fr/llama-cpp-adds-faster-sycl-attention-for-quantized-caches

La version llama.cpp b11980 ajoute un noyau SYCL de flash-attention pour le décodage avec des caches clé-valeur quantifiés q4_0 et q8_0. Il prend en charge des lots de 1 à 31 tokens de requête, évitant ainsi la déquantification scalaire ou la conversion de l’ensemble du cache en f16 à chaque appel.

D’après les notes de version, sur une Intel Arc B580, Llama 3.1 8B Q4_K_M avec un cache q4_0 a atteint 54.2 tokens par seconde avec un contexte de 16K, contre 31.3 auparavant. Ce résultat concerne une configuration précise ; le traitement des prompts continue d’utiliser les noyaux existants, et le nouveau noyau peut être désactivé avec GGML_SYCL_FA_DPAS=0.

## Les faits

- Version : llama.cpp b11980.
- Résultat annoncé sur B580 : de 31.3 à 54.2 tokens par seconde avec un contexte de 16K, avec Llama 3.1 8B Q4_K_M et un cache KV q4_0.

## Pourquoi c'est important

Pour les personnes qui décodent sur une Intel Arc B580 avec des caches quantifiés, cela pourrait accélérer la génération de tokens dans la configuration testée ; la version ne fournit aucun élément indiquant que le traitement des prompts ou d’autres matériels bénéficieraient d’une accélération similaire.

## Sources et références

1. [ggml-org/llama.cpp b11980](https://github.com/ggml-org/llama.cpp/releases/tag/b11980) – llama.cpp, 2026-10-29

Dernière mise à jour: 2026-10-29