# llama.cpp ускоряет инференс IQ3 на GPU Intel Arc

> Библиотека с открытым исходным кодом llama.cpp теперь меняет порядок весов IQ3_S и IQ3_XXS при загрузке, повышая скорость генерации токенов на видеокартах Intel Arc.

Oossa · 2026-10-15 · https://oossa.com/ru/llama-cpp-adds-sycl-weight-reorder-for-faster-iq3-inference

Проект llama.cpp выпустил версию b11636 2026-10-15. В ней добавлена постоянная перестановка весов для квантований IQ3_S и IQ3_XXS при работе с SYCL. Веса перестраиваются один раз при загрузке модели, благодаря чему GPU обрабатывает плотные блоки вместо того, чтобы собирать биты по отдельности. Это ускоряет декодирование и обработку промпта. На видеокарте Intel Arc Pro B70 скорость обработки модели Qwen3.8‑27B выросла с 12.92 до 23.54 токена в секунду на коротких промптах — на 82 %.

## Факты

- Дата выпуска: 2026-10-15 ("Thu Oct 15 2026 06:50:37 GMT+0200")
- Скорость на Intel Arc Pro B70 выросла с 12.92 т/с до 23.54 т/с (+82 %) для IQ3_S

## Почему это важно

Разработчики, использующие llama.cpp на совместимых с SYCL видеокартах, могут заметно ускорить отклик без изменений в коде модели.

## Источники и ссылки

1. [ggml-org/llama.cpp b11636](https://github.com/ggml-org/llama.cpp/releases/tag/b11636) – llama.cpp, 2026-10-15

Обновлено: 2026-10-15