Oossa

llama.cpp b12549 исправляет обработку attention для Inkling2

Обновление добавляет для Inkling2 отдельный входной сигнал для attention с относительными позициями и исправляет повторное использование масок в моделях с гибридной памятью, включая LFM2 и LFM3.

ЗаметкаАвтор: Опубликовано Oossa: 1 мин чтения

Команда ggml-org выпустила llama.cpp b12549 с исправлениями обработки attention-масок для Inkling2 — модели, поддерживаемой проектом. Обновление добавляет для Inkling2 отдельный входной сигнал, который строит плотную attention-маску и смещение относительных позиций на основе одних и тех же ячеек. Кроме того, исправлено построение масок для моделей с гибридной памятью: ошибка мешала повторно использовать граф вычислений с унифицированным кэшем и flash attention и затрагивала LFM2, LFM3 и Inkling2. В релизе также разрешено задавать нулевые значения для масштаба экспертных весов Inkling2 и softcap финальных логитов.

Почему это важно

Для тех, кто запускает эти модели с гибридной памятью в llama.cpp, исправления устраняют проблему, мешавшую повторно использовать граф вычислений с унифицированным кэшем и flash attention; в описании релиза не указано, насколько это ускорит работу.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.