Das llama.cpp-Projekt hat am 2026-10-15 Version b11636 veröffentlicht. Sie führt für die Quantisierungen IQ3_S und IQ3_XXS unter SYCL ein dauerhaftes Gewichtslayout ein. Die Gewichte werden beim Laden des Modells einmalig neu angeordnet. So kann die GPU dichte Blöcke verarbeiten, statt einzelne Bits zusammenzusuchen – das beschleunigt Decoding und Prefill. Auf einer Intel Arc Pro B70 stieg die Token-Rate des Modells Qwen3.8‑27B bei kurzen Prompts von 12.92 auf 23.54 Tokens pro Sekunde – ein Plus von 82 %.
Warum es wichtig ist
Entwickler, die llama.cpp auf SYCL-kompatiblen GPUs nutzen, können deutlich schnellere Antworten erhalten, ohne den Modellcode ändern zu müssen.
