Projektet llama.cpp har släppt en ny version (b11707) med funktionen GraniteSwitchDecisionFullOptions. Den gör det möjligt för varje växelmodell att använda upp till 256 unika markörer med en token, jämfört med tidigare 66. Koden hittar automatiskt vilka tecken som motsvarar en enda token i modellens vokabulär. Ändringen finns i C++-konverteringslagret och beskrivs i versionsinformationen.
Varför det spelar roll
Utvecklare kan skapa mer avancerade beslutsunderlag för Granite-modeller utan att behöva sätta ihop tokenlistor manuellt.
