Le projet llama.cpp a publié la version b11636 le 2026-10-15. Celle-ci introduit une disposition persistante des poids pour les quantifications IQ3_S et IQ3_XXS sous SYCL. Les poids sont réorganisés une seule fois au chargement du modèle : le GPU peut alors traiter des blocs denses au lieu de rassembler les bits, ce qui accélère le décodage et le préremplissage. Sur un GPU Intel Arc Pro B70, le modèle Qwen3.8‑27B a vu son débit passer de 12.92 à 23.54 tokens par seconde pour les requêtes courtes, soit une hausse de 82 %.
Pourquoi c'est important
Les développeurs qui utilisent llama.cpp sur des GPU compatibles SYCL peuvent obtenir des réponses nettement plus rapides sans modifier le code du modèle.
