Das llama.cpp-Projekt hat eine neue Version (b11707) veröffentlicht, die die Funktion GraniteSwitchDecisionFullOptions einführt. Damit kann jedes Switch-Modell bis zu 256 eindeutige Marker aus jeweils einem Token verwenden, zuvor waren es 66. Der Code ermittelt automatisch, welche Zeichen im Vokabular des jeweiligen Modells Ein-Token-Einträge bilden. Die Änderung betrifft die C++-Konvertierungsschicht und ist in den Versionshinweisen dokumentiert.
Warum es wichtig ist
Entwickler können für Granite-Modelle umfangreichere Entscheidungsprompts erstellen, ohne Tokenlisten manuell zusammenstellen zu müssen.
