Oossa

llama.cpp accélère les modèles quantifiés grâce à DP4A sur OpenCL

La bibliothèque open source d’inférence LLaMA prend désormais en charge GEMM avec DP4A et cooperative-k pour les formats q4_0, q4_k et q6_k.

BrèvePar Publié par Oossa: 1 min de lecture

Le projet ggml‑org/llama.cpp a publié la version b11741 le 2026‑10‑19. Elle ajoute de nouveaux noyaux OpenCL utilisant les instructions DP4A pour accélérer les multiplications matricielles de trois formats quantifiés (q4_0, q4_k, q6_k). Cette mise à jour corrige également un problème d’alignement et inclut des binaires précompilés pour macOS (Apple Silicon et Intel) ainsi que pour plusieurs versions d’Ubuntu, notamment des builds Vulkan.

Pourquoi c'est important

Les développeurs peuvent exécuter plus rapidement des modèles LLaMA sur des GPU compatibles avec OpenCL, ce qui facilite l’inférence en local.

Cet article vous a-t-il été utile ?
Partager

À lire ensuite

Oossa · Newsletter

La semaine de l'IA, expliquée

Chaque lundi : l'essentiel de l'actualité, en langage clair. Gratuit, sans spam.