De release b11979 van ggml-org/llama.cpp verandert hoe de SYCL-kernels verschillende gequantiseerde modelformaten omzetten op Intel-GPU's. Op een Arc Pro B70 mat het project een snellere prefill — het verwerken van prompttekst — wanneer tensors een herordende indeling gebruikten. De winst verschilde per formaat en model.
De grootste gemelde winst met die aanpak was 28.7% voor een Q6_K-model met 27 miljard parameters. Bij MXFP4-mixture-of-expertsmodellen verbeterde de prefill in de gemelde test met 57% tot 61%, ook met een nieuwe indeling; de decodeersnelheid bleef gelijk. De metingen zijn afkomstig van het project zelf. De perplexiteitsresultaten bleven gelijk of vielen binnen de variatie tussen runs.
Waarom het ertoe doet
Wie deze modelformaten op een Intel Arc Pro B70 gebruikt, kan prompts mogelijk sneller laten verwerken. De winst hangt wel af van het model en de indeling, en het decoderen wordt er niet sneller van.
