В выпуске ggml-org/llama.cpp b11979 изменён способ преобразования нескольких форматов квантованных моделей в ядрах SYCL для видеокарт Intel. На Arc Pro B70 проект зафиксировал ускорение префилла — обработки текста промпта — при использовании для тензоров переставленного порядка элементов. Прирост зависел от формата и модели.
Максимальный прирост в этом режиме составил 28,7% для модели Q6_K с 27 миллиардами параметров. Для моделей MoE в формате MXFP4 префилл в опубликованном тесте ускорился на 57–61%, в том числе при использовании нового порядка элементов; скорость декодирования не изменилась. По данным проекта, результаты по перплексии остались прежними или укладывались в разброс между запусками.
Почему это важно
При запуске моделей этих форматов на Intel Arc Pro B70 обработка промптов может занимать меньше времени. Прирост зависит от модели и порядка элементов и не ускоряет декодирование.
