Het llama.cpp-project bracht op 2026-10-15 versie b11636 uit. Die voegt voor IQ3_S- en IQ3_XXS-quantisaties een blijvende gewichtsindeling toe bij gebruik van SYCL. De gewichten worden één keer herschikt wanneer het model wordt geladen. Daardoor kan de GPU dichte blokken verwerken in plaats van bits bij elkaar te zoeken, wat het decoderen en de prefill versnelt. Op een Intel Arc Pro B70-GPU steeg de tokensnelheid van het model Qwen3.8‑27B bij korte prompts van 12.92 naar 23.54 tokens per seconde, een toename van 82 %.
Waarom het ertoe doet
Ontwikkelaars die llama.cpp gebruiken op GPU’s die compatibel zijn met SYCL, kunnen aanzienlijk snellere reacties krijgen zonder de modelcode aan te passen.
