El proyecto llama.cpp publicó una nueva versión (b11707) que incorpora una función llamada GraniteSwitchDecisionFullOptions. Esta permite que cada modelo switch use hasta 256 marcadores únicos de un solo token, frente a los 66 anteriores. El código detecta automáticamente qué caracteres corresponden a tokens individuales en el vocabulario de cada modelo. El cambio se encuentra en la capa de conversión de C++ y está documentado en las notas de la versión.
Por qué importa
Los desarrolladores pueden crear prompts de toma de decisiones más completos para los modelos Granite sin tener que elaborar manualmente listas de tokens.
