llama.cpp新增SYCL权重重排，提升IQ3推理速度

开源库llama.cpp现在会在加载时重排IQ3_S和IQ3_XXS权重，提升Intel Arc GPU上的token处理速度。

简讯作者： OossaOossa 发布日期: 2026年10月15日 05:08 UTC1 分钟阅读

llama.cpp项目于2026-10-15发布b11636版本。该版本在SYCL环境下为IQ3_S和IQ3_XXS量化格式加入了持久化权重布局。模型加载时，权重只需重排一次，之后GPU便可处理密集区块，无需再收集比特，从而加快解码和预填充。在Intel Arc Pro B70 GPU上，Qwen3.8‑27B模型处理短提示词时的速度从每秒12.92个token提升至23.54个，增幅达82%。