В выпуске llama.cpp b11980 появилось ядро SYCL flash attention для декодирования с квантованными KV-кэшами q4_0 и q8_0. Оно работает с пакетами от 1 до 31 токена запроса, избавляя от скалярной деквантизации и преобразования всего кэша в f16 при каждом вызове.
Согласно примечаниям к выпуску, на Intel Arc B580 модель Llama 3.1 8B Q4_K_M с кэшем q4_0 показала скорость 54.2 токена в секунду при контексте 16K — против прежних 31.3. Результат относится к одной указанной конфигурации; обработка промптов по-прежнему выполняется прежними ядрами, а новое можно отключить с помощью GGML_SYCL_FA_DPAS=0.
Почему это важно
Для тех, кто генерирует текст на Intel Arc B580 с квантованными кэшами, это может ускорить генерацию токенов в протестированной конфигурации. В выпуске нет данных о том, что обработка промптов или работа на другом оборудовании также станут быстрее.
