La versione b11979 di ggml-org/llama.cpp modifica il modo in cui i kernel SYCL convertono diversi formati di modelli quantizzati sulle GPU Intel. Su una Arc Pro B70, il progetto ha rilevato un prefill più rapido — cioè l’elaborazione del testo del prompt — quando i tensori utilizzavano un layout riordinato; i miglioramenti variano a seconda del formato e del modello.
Il miglioramento più consistente riportato per questo percorso è stato del 28.7% per un modello Q6_K da 27 miliardi di parametri. Nei modelli mixture-of-experts MXFP4, il prefill è migliorato dal 57% al 61% nel test riportato, anche con un layout nuovo; la velocità di decodifica è rimasta invariata. Le misurazioni sono state riportate dal progetto e i risultati di perplexity sono rimasti invariati o entro la variabilità tra un’esecuzione e l’altra.
Perché conta
Chi usa questi formati di modello su Intel Arc Pro B70 potrebbe impiegare meno tempo a elaborare i prompt. I miglioramenti dipendono però dal modello e dal layout e non accelerano la decodifica.
