Version b11979 av ggml-org/llama.cpp ändrar hur SYCL-kärnorna konverterar flera kvantiserade modellformat på Intel-grafikkort. På ett Arc Pro B70 mätte projektet snabbare promptbearbetning – alltså bearbetning av prompttext – när tensorerna använde en omordnad layout. Förbättringen varierade beroende på format och modell.
Den största rapporterade förbättringen med den metoden var 28.7% för en Q6_K-modell med 27 miljarder parametrar. För MXFP4-modeller av typen mixture-of-experts gick promptbearbetningen 57% till 61% snabbare i det rapporterade testet, även med en ny layout. Avkodningshastigheten var oförändrad. Mätningarna har rapporterats av projektet, och resultaten för perplexitet var oförändrade eller låg inom variationen mellan körningar.
Varför det spelar roll
Den som kör modeller i de här formaten på ett Intel Arc Pro B70 kan få kortare bearbetningstid för promptar. Förbättringen beror dock på modell och layout och gör inte avkodningen snabbare.
