Le projet llama.cpp a publié la version b11404 le 5 octobre 2026. Elle ajoute des noyaux Metal capables de multiplier plusieurs lignes à la fois (de 2 à 16) sur les GPU Apple. Ces noyaux ne déquantifient chaque poids qu’une seule fois et répartissent le travail entre les groupes SIMD : le décodage spéculatif est ainsi plus rapide sur un M3 Ultra qu’avec l’ancienne méthode mat-vec. Les nouveaux noyaux ne sont utilisés que sur les appareils compatibles avec la famille de GPU Apple7, et à partir d’un certain nombre de lignes (par exemple, 6 pour F32). La mise à jour affine également la logique de fusion et supprime une fusion de copies par lots qui posait problème.
Pourquoi c'est important
Les utilisateurs d’Apple Silicon qui utilisent llama.cpp bénéficieront d’une latence réduite lors de la génération de texte avec le décodage spéculatif, en particulier sur les appareils M3 Ultra.
