# llama.cpp ускоряет attention для квантованных кэшей на SYCL

> В версии b11980 добавлено ядро для GPU Intel, ускоряющее декодирование небольшими пакетами с KV-кэшами q4_0 и q8_0; обработка промптов по-прежнему использует прежние ядра.

Oossa · 2026-10-29 · https://oossa.com/ru/llama-cpp-adds-faster-sycl-attention-for-quantized-caches

В выпуске llama.cpp b11980 появилось ядро SYCL flash attention для декодирования с квантованными KV-кэшами q4_0 и q8_0. Оно работает с пакетами от 1 до 31 токена запроса, избавляя от скалярной деквантизации и преобразования всего кэша в f16 при каждом вызове.

Согласно примечаниям к выпуску, на Intel Arc B580 модель Llama 3.1 8B Q4_K_M с кэшем q4_0 показала скорость 54.2 токена в секунду при контексте 16K — против прежних 31.3. Результат относится к одной указанной конфигурации; обработка промптов по-прежнему выполняется прежними ядрами, а новое можно отключить с помощью GGML_SYCL_FA_DPAS=0.

## Факты

- Выпуск: llama.cpp b11980.
- Заявленный результат на B580: рост с 31.3 до 54.2 токена в секунду при контексте 16K для Llama 3.1 8B Q4_K_M с KV-кэшем q4_0.

## Почему это важно

Для тех, кто генерирует текст на Intel Arc B580 с квантованными кэшами, это может ускорить генерацию токенов в протестированной конфигурации. В выпуске нет данных о том, что обработка промптов или работа на другом оборудовании также станут быстрее.

## Источники и ссылки

1. [ggml-org/llama.cpp b11980](https://github.com/ggml-org/llama.cpp/releases/tag/b11980) – llama.cpp, 2026-10-29

Обновлено: 2026-10-29