Вышла новая версия проекта llama.cpp (b11707) с функцией GraniteSwitchDecisionFullOptions. Теперь для каждой модели с переключателями можно использовать до 256 уникальных однотокенных маркеров вместо прежних 66. Код автоматически определяет, какие символы в словаре токенов модели образуют отдельные токены. Изменение внесено в слой преобразования на C++ и описано в примечаниях к выпуску.
Почему это важно
Разработчики могут создавать более сложные промпты для принятия решений моделями Granite, не составляя списки токенов вручную.
