O projeto llama.cpp lançou uma nova versão (b11707) com um recurso chamado GraniteSwitchDecisionFullOptions. Ele permite que cada modelo switch use até 256 marcadores únicos de um token, em vez dos 66 anteriores. O código identifica automaticamente quais caracteres correspondem a entradas de um único token no vocabulário de cada modelo. A mudança foi feita na camada de conversão em C++ e está documentada nas notas de lançamento.
Por que importa
Desenvolvedores podem criar prompts de tomada de decisão mais elaborados para modelos Granite sem precisar montar listas de tokens manualmente.
