Het llama.cpp-project heeft een nieuwe versie uitgebracht (b11707) met een functie genaamd GraniteSwitchDecisionFullOptions. Daarmee kan elk switchmodel maximaal 256 unieke markeringen van één token gebruiken, tegenover 66 voorheen. De code zoekt automatisch uit welke tekens in de woordenschat van een model uit één token bestaan. De wijziging zit in de C++-conversielaag en wordt beschreven in de release notes.
Waarom het ertoe doet
Ontwikkelaars kunnen uitgebreidere prompts voor besluitvorming maken voor Granite-modellen, zonder zelf tokenlijsten te hoeven samenstellen.
