Il progetto llama.cpp ha pubblicato una nuova versione (b11707) che introduce una funzionalità chiamata GraniteSwitchDecisionFullOptions. Questa consente a ciascun modello switch di usare fino a 256 marcatori univoci composti da un singolo token, rispetto ai 66 precedenti. Il codice individua automaticamente quali caratteri corrispondono a voci di un singolo token nel vocabolario del modello. La modifica riguarda il livello di conversione C++ ed è documentata nelle note di rilascio.
Perché conta
Gli sviluppatori possono creare prompt decisionali più articolati per i modelli Granite senza dover preparare manualmente elenchi di token.
