Oossa

В llama.cpp появилась объединённая операция top-k mask

В библиотеке для инференса с открытым исходным кодом появилась новая операция для маскирования QSA, ускоряющая работу некоторых моделей.

ЗаметкаАвтор: Опубликовано Oossa: 1 мин чтения

Проект ggml-org llama.cpp выпустил версию b11800 2026-10-21. В обновлении появилась объединённая операция top-k mask (ggml_top_k_mask), которую могут использовать модели QSA, DSA и DeepSeek V4 CSA. Она заменяет написанный вручную код маскирования одним узлом, который присваивает невыбранным ячейкам значение –inf. Операция работает отдельно для каждой головы и поддерживает необязательные оценки, размеры блоков и дополнительные ячейки.

Почему это важно

Разработчики смогут быстрее запускать совместимые модели: библиотека выполняет маскирование за один оптимизированный шаг.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.