La versión b11979 de ggml-org/llama.cpp modifica la forma en que sus kernels SYCL convierten varios formatos de modelos cuantizados en GPU Intel. En una Arc Pro B70, el proyecto midió un prefill más rápido —el procesamiento del texto del prompt— cuando los tensores usaban una disposición reordenada. Las mejoras variaron según el formato y el modelo.
La mayor mejora reportada con ese método fue del 28.7% para un modelo Q6_K de 27.000 millones de parámetros. En los modelos de mezcla de expertos (MoE) con MXFP4, el prefill mejoró entre un 57% y un 61% en la prueba reportada, incluso con una disposición nueva; la velocidad de decodificación no cambió. Las mediciones fueron reportadas por el proyecto, y los resultados de perplexity no cambiaron o quedaron dentro de la variación entre ejecuciones.
Por qué importa
Quienes ejecuten estos formatos de modelo en una Intel Arc Pro B70 podrían tardar menos en procesar los prompts, aunque las mejoras dependen del modelo y de la disposición, y no aceleran la decodificación.
