La version b11979 de ggml-org/llama.cpp modifie la façon dont ses noyaux SYCL convertissent plusieurs formats de modèles quantifiés sur les GPU Intel. Sur une Arc Pro B70, le projet a mesuré un préremplissage plus rapide — c’est-à-dire le traitement du texte du prompt — lorsque les tenseurs utilisaient une disposition réorganisée. Les gains variaient selon le format et le modèle.
Le gain le plus important mesuré avec cette méthode était de 28.7% pour un modèle Q6_K de 27 milliards de paramètres. Pour les modèles à mélange d’experts MXFP4, le préremplissage a progressé de 57% à 61% lors du test rapporté, y compris avec une nouvelle disposition ; la vitesse de décodage est restée inchangée. Ces mesures sont rapportées par le projet, et les résultats de perplexité étaient inchangés ou dans la marge de variation entre les exécutions.
Pourquoi c'est important
Les personnes qui utilisent ces formats de modèles sur une Intel Arc Pro B70 pourraient traiter les prompts plus rapidement. Les gains dépendent toutefois du modèle et de la disposition des tenseurs, et n’accélèrent pas le décodage.
