Команда ggml-org выпустила llama.cpp b12549 с исправлениями обработки attention-масок для Inkling2 — модели, поддерживаемой проектом. Обновление добавляет для Inkling2 отдельный входной сигнал, который строит плотную attention-маску и смещение относительных позиций на основе одних и тех же ячеек. Кроме того, исправлено построение масок для моделей с гибридной памятью: ошибка мешала повторно использовать граф вычислений с унифицированным кэшем и flash attention и затрагивала LFM2, LFM3 и Inkling2. В релизе также разрешено задавать нулевые значения для масштаба экспертных весов Inkling2 и softcap финальных логитов.
Почему это важно
Для тех, кто запускает эти модели с гибридной памятью в llama.cpp, исправления устраняют проблему, мешавшую повторно использовать граф вычислений с унифицированным кэшем и flash attention; в описании релиза не указано, насколько это ускорит работу.