# llama.cpp ordnet SYCL-Gewichte für schnellere IQ3-Inferenz neu

> Die Open-Source-Bibliothek llama.cpp ordnet IQ3_S- und IQ3_XXS-Gewichte jetzt beim Laden neu und steigert so den Token-Durchsatz auf Intel-Arc-GPUs.

Oossa · 2026-10-15 · https://oossa.com/de/llama-cpp-adds-sycl-weight-reorder-for-faster-iq3-inference

Das llama.cpp-Projekt hat am 2026-10-15 Version b11636 veröffentlicht. Sie führt für die Quantisierungen IQ3_S und IQ3_XXS unter SYCL ein dauerhaftes Gewichtslayout ein. Die Gewichte werden beim Laden des Modells einmalig neu angeordnet. So kann die GPU dichte Blöcke verarbeiten, statt einzelne Bits zusammenzusuchen – das beschleunigt Decoding und Prefill. Auf einer Intel Arc Pro B70 stieg die Token-Rate des Modells Qwen3.8‑27B bei kurzen Prompts von 12.92 auf 23.54 Tokens pro Sekunde – ein Plus von 82 %.

## Die Fakten

- Veröffentlichungsdatum: 2026-10-15 ("Thu Oct 15 2026 06:50:37 GMT+0200")
- Token-Geschwindigkeit auf Intel Arc Pro B70 für IQ3_S von 12.92 t/s auf 23.54 t/s gestiegen (+82 %)

## Warum es wichtig ist

Entwickler, die llama.cpp auf SYCL-kompatiblen GPUs nutzen, können deutlich schnellere Antworten erhalten, ohne den Modellcode ändern zu müssen.

## Quellen und Referenzen

1. [ggml-org/llama.cpp b11636](https://github.com/ggml-org/llama.cpp/releases/tag/b11636) – llama.cpp, 2026-10-15

Zuletzt aktualisiert: 2026-10-15