Oossa

llama.cpp b11723 ускоряет работу с длинным контекстом

Вышла версия библиотеки llama.cpp с открытым исходным кодом — b11723. В ней доработали FLASH_ATTN_EXT для Hexagon, ускорив обработку длинного контекста на CPU и Vulkan.

ЗаметкаАвтор: Опубликовано Oossa: 1 мин чтения

Команда ggml-org выпустила llama.cpp версии b11723 19 октября 2026 года. В обновлении улучшили FLASH_ATTN_EXT для работы с более длинным контекстом и моделями SWA, а также добавили пропуск маскированных блоков, чтобы сократить число обращений к памяти. Готовые сборки доступны для macOS (Apple Silicon и Intel), iOS и нескольких вариантов Ubuntu, в том числе с поддержкой GPU Vulkan. Изменения призваны повысить производительность таких моделей, как gemma-4.

Почему это важно

Разработчики смогут эффективнее запускать LLM с большим контекстом на настольных CPU и совместимых GPU.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.