Projektet llama.cpp släppte version b11636 den 2026-10-15. Den inför en beständig viktlayout för kvantiseringarna IQ3_S och IQ3_XXS vid körning med SYCL. Vikterna ordnas om en gång när modellen läses in, så att grafikprocessorn kan bearbeta täta block i stället för att samla ihop bitar. Det snabbar upp avkodning och prefill. På ett Intel Arc Pro B70-grafikkort ökade tokenhastigheten för modellen Qwen3.8‑27B från 12.92 till 23.54 tokens per sekund med korta promptar, en ökning med 82 %.
Varför det spelar roll
Utvecklare som kör llama.cpp på SYCL-kompatibla grafikprocessorer kan få märkbart snabbare svar utan att ändra modellkoden.
