# llama.cpp versnelt prefill van gequantiseerde modellen op Intel Arc

> Release b11979 bevat aanpassingen aan de SYCL-dequantisatie. Tests op een Intel Arc Pro B70 lieten daardoor snellere prefill zien, terwijl de decodeersnelheid gelijk bleef.

Oossa · 2026-10-29 · https://oossa.com/nl/llama-cpp-speeds-up-quantized-prefill-on-intel-arc-gpus

De release b11979 van ggml-org/llama.cpp verandert hoe de SYCL-kernels verschillende gequantiseerde modelformaten omzetten op Intel-GPU's. Op een Arc Pro B70 mat het project een snellere prefill — het verwerken van prompttekst — wanneer tensors een herordende indeling gebruikten. De winst verschilde per formaat en model.

De grootste gemelde winst met die aanpak was 28.7% voor een Q6_K-model met 27 miljard parameters. Bij MXFP4-mixture-of-expertsmodellen verbeterde de prefill in de gemelde test met 57% tot 61%, ook met een nieuwe indeling; de decodeersnelheid bleef gelijk. De metingen zijn afkomstig van het project zelf. De perplexiteitsresultaten bleven gelijk of vielen binnen de variatie tussen runs.

## De feiten

- llama.cpp b11979 meldt een prefillwinst van 28.7% voor een Q6_K-model van 27B op een Arc Pro B70.
- De prefill van MXFP4-MoE verbeterde met 57% bij pp2048 en 61% bij pp512; de decodeersnelheid bleef gelijk.

## Waarom het ertoe doet

Wie deze modelformaten op een Intel Arc Pro B70 gebruikt, kan prompts mogelijk sneller laten verwerken. De winst hangt wel af van het model en de indeling, en het decoderen wordt er niet sneller van.

## Bronnen en referenties

1. [ggml-org/llama.cpp b11979](https://github.com/ggml-org/llama.cpp/releases/tag/b11979) – llama.cpp, 2026-10-29

Laatst bijgewerkt: 2026-10-29