L’équipe ggml‑org a publié la version b11413 de llama.cpp le 5 oct. 2026. Cette mise à jour ajoute une implémentation Vulkan de l’attention flash creuse compatible avec les tenseurs clé/valeur quantifiés. La nouveauté est présentée comme une « attention flash creuse pour les K/V quantifiés » et vise l’inférence accélérée par GPU. La version propose également de nombreuses déclinaisons pour différentes plateformes, de macOS sur Apple Silicon à Windows avec CUDA et Vulkan.
Pourquoi c'est important
Les développeurs peuvent désormais exécuter plus rapidement des modèles quantifiés sur les GPU compatibles avec Vulkan, ce qui réduit les coûts de calcul pour les appareils en périphérie.
