Le projet ggml-org/llama.cpp a publié la version b12342, qui intègre un nouveau noyau CUDA int8 MMA pour les opérations MMQ (multiplication matricielle et quantification) portant sur quelques lignes. Celui-ci prend en charge les quantifications Q8_0, Q3_K, Q4_K, Q5_K, Q6_K, IQ3_S, IQ4_NL et IQ4_XS sur les GPU NVIDIA à partir de la génération Ampere. Cette modification vise à accélérer les passes de vérification du décodage spéculatif. La mise à jour comprend également plusieurs correctifs liés aux tests et aux garde-fous.
Pourquoi c'est important
Les développeurs peuvent accélérer l’inférence des LLM sur les GPU compatibles et réduire la latence des applications d’IA interactives.
