# llama.cpp ajoute un noyau CUDA int8 pour les opérations matricielles à quelques lignes

> L’environnement d’exécution open source pour LLM prend désormais en charge un nouveau noyau int8 sur les GPU NVIDIA de classe Ampere, pour accélérer le décodage spéculatif.

Oossa · 2026-11-13 · https://oossa.com/fr/llama-cpp-adds-int8-cuda-kernel-for-few-row-matrix-ops

Le projet ggml-org/llama.cpp a publié la version b12342, qui intègre un nouveau noyau CUDA int8 MMA pour les opérations MMQ (multiplication matricielle et quantification) portant sur quelques lignes. Celui-ci prend en charge les quantifications Q8_0, Q3_K, Q4_K, Q5_K, Q6_K, IQ3_S, IQ4_NL et IQ4_XS sur les GPU NVIDIA à partir de la génération Ampere. Cette modification vise à accélérer les passes de vérification du décodage spéculatif. La mise à jour comprend également plusieurs correctifs liés aux tests et aux garde-fous.

## Les faits

- Le nouveau noyau int8 MMA prend en charge huit formats de quantification sur les GPU NVIDIA de classe Ampere.
- Date de sortie : 2026-11-13

## Pourquoi c'est important

Les développeurs peuvent accélérer l’inférence des LLM sur les GPU compatibles et réduire la latence des applications d’IA interactives.

## Sources et références

1. [ggml-org/llama.cpp b12342](https://github.com/ggml-org/llama.cpp/releases/tag/b12342) – llama.cpp, 2026-11-13

Dernière mise à jour: 2026-11-13