Mit dem Release ggml-org/llama.cpp b11979 ändert sich, wie die SYCL-Kernels mehrere quantisierte Modellformate auf Intel-GPUs umwandeln. Auf einer Arc Pro B70 maß das Projekt ein schnelleres Prefill – also eine schnellere Verarbeitung des Prompt-Texts –, wenn die Tensoren ein umgeordnetes Layout verwendeten. Wie groß der Leistungsgewinn ausfiel, hing vom Format und Modell ab.
Den größten gemeldeten Zugewinn mit diesem Layout erzielte ein Modell mit 27 Milliarden Parametern im Format Q6_K: 28.7%. Bei MXFP4-Mixture-of-Experts-Modellen verbesserte sich das Prefill im berichteten Test um 57% bis 61%, auch mit einem neu angelegten Layout. Die Decode-Geschwindigkeit blieb unverändert. Die Messwerte stammen vom Projekt; die Perplexitätswerte blieben gleich oder bewegten sich innerhalb der üblichen Schwankungen zwischen den Testläufen.
Warum es wichtig ist
Wer diese Modellformate auf einer Intel Arc Pro B70 ausführt, kann Prompts möglicherweise schneller verarbeiten. Der Zugewinn hängt jedoch von Modell und Layout ab und beschleunigt nicht das Decoding.
