Oossa

llama.cpp добавила операцию Flash Attention

В библиотеке с открытым исходным кодом llama.cpp появилась поддержка операции Flash Attention через ggml‑zdnn. Об этом сообщили 20 Oct 2026.

ЗаметкаАвтор: Опубликовано Oossa: 1 мин чтения

Команда ggml‑org выпустила llama.cpp версии b11759 20 Oct 2026. В обновлении в бэкенд ggml‑zdnn добавили операцию Flash Attention (fattn), а слоты для временных данных заменили пулом буферов. Изменение подписал участник проекта Aaron Teo. Flash Attention ускоряет вычисление механизма внимания, который используют большие языковые модели.

Почему это важно

Flash Attention может сократить время инференса при локальном запуске llama.cpp, благодаря чему модели для общения будут работать быстрее.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.