Команда ggml-org выпустила llama.cpp b12094 4 ноября 2026 года. В версии ускорен путь top-k-сэмплирования для бэкенда Hexagon. При генерации текста top-k-сэмплирование выбирает варианты с наивысшими оценками.
Изменение рассчитано на значения k от 2 до 64 и строки шириной более 1,024 элементов. Алгоритм пропускает сортировку блоков, в которых не может быть результата с высокой оценкой, однако в описании релиза нет измерений прироста скорости.
Почему это важно
Пользователи llama.cpp на совместимом оборудовании Hexagon получат более эффективный метод сэмплирования для этих задач, хотя в релизе не приводится оценка реального прироста скорости.
