# llama.cpp får snabbare IQ3-inferens med SYCL

> Biblioteket llama.cpp med öppen källkod ordnar nu om vikterna för IQ3_S och IQ3_XXS vid inläsning, vilket ökar tokenhastigheten på Intel Arc-grafikkort.

Oossa · 2026-10-15 · https://oossa.com/sv/llama-cpp-adds-sycl-weight-reorder-for-faster-iq3-inference

Projektet llama.cpp släppte version b11636 den 2026-10-15. Den inför en beständig viktlayout för kvantiseringarna IQ3_S och IQ3_XXS vid körning med SYCL. Vikterna ordnas om en gång när modellen läses in, så att grafikprocessorn kan bearbeta täta block i stället för att samla ihop bitar. Det snabbar upp avkodning och prefill. På ett Intel Arc Pro B70-grafikkort ökade tokenhastigheten för modellen Qwen3.8‑27B från 12.92 till 23.54 tokens per sekund med korta promptar, en ökning med 82 %.

## Fakta

- Utgivningsdatum: 2026-10-15 ("Thu Oct 15 2026 06:50:37 GMT+0200")
- Tokenhastigheten på Intel Arc Pro B70 ökade från 12.92 t/s till 23.54 t/s (+82 %) för IQ3_S

## Varför det spelar roll

Utvecklare som kör llama.cpp på SYCL-kompatibla grafikprocessorer kan få märkbart snabbare svar utan att ändra modellkoden.

## Källor och referenser

1. [ggml-org/llama.cpp b11636](https://github.com/ggml-org/llama.cpp/releases/tag/b11636) – llama.cpp, 2026-10-15

Senast uppdaterad: 2026-10-15