# llama.cpp herschikt IQ3-gewichten voor snellere inferentie

> De opensourcebibliotheek llama.cpp herschikt IQ3_S- en IQ3_XXS-gewichten nu tijdens het laden. Dat verhoogt de tokensnelheid op Intel Arc-GPU’s.

Oossa · 2026-10-15 · https://oossa.com/nl/llama-cpp-adds-sycl-weight-reorder-for-faster-iq3-inference

Het llama.cpp-project bracht op 2026-10-15 versie b11636 uit. Die voegt voor IQ3_S- en IQ3_XXS-quantisaties een blijvende gewichtsindeling toe bij gebruik van SYCL. De gewichten worden één keer herschikt wanneer het model wordt geladen. Daardoor kan de GPU dichte blokken verwerken in plaats van bits bij elkaar te zoeken, wat het decoderen en de prefill versnelt. Op een Intel Arc Pro B70-GPU steeg de tokensnelheid van het model Qwen3.8‑27B bij korte prompts van 12.92 naar 23.54 tokens per seconde, een toename van 82 %.

## De feiten

- Releasedatum: 2026-10-15 ("Thu Oct 15 2026 06:50:37 GMT+0200")
- De tokensnelheid op de Intel Arc Pro B70 steeg voor IQ3_S van 12.92 t/s naar 23.54 t/s (+82 %)

## Waarom het ertoe doet

Ontwikkelaars die llama.cpp gebruiken op GPU’s die compatibel zijn met SYCL, kunnen aanzienlijk snellere reacties krijgen zonder de modelcode aan te passen.

## Bronnen en referenties

1. [ggml-org/llama.cpp b11636](https://github.com/ggml-org/llama.cpp/releases/tag/b11636) – llama.cpp, 2026-10-15

Laatst bijgewerkt: 2026-10-15