Проект llama.cpp выпустил версию b11636 2026-10-15. В ней добавлена постоянная перестановка весов для квантований IQ3_S и IQ3_XXS при работе с SYCL. Веса перестраиваются один раз при загрузке модели, благодаря чему GPU обрабатывает плотные блоки вместо того, чтобы собирать биты по отдельности. Это ускоряет декодирование и обработку промпта. На видеокарте Intel Arc Pro B70 скорость обработки модели Qwen3.8‑27B выросла с 12.92 до 23.54 токена в секунду на коротких промптах — на 82 %.
Почему это важно
Разработчики, использующие llama.cpp на совместимых с SYCL видеокартах, могут заметно ускорить отклик без изменений в коде модели.
