llama.cpp projesi, GraniteSwitchDecisionFullOptions adlı bir özellik ekleyen yeni sürümünü (b11707) yayımladı. Bu özellik, her switch modelinin önceki 66 yerine 256’ya kadar benzersiz, tek tokenlı işaretleyici kullanmasına olanak tanıyor. Kod, belirli bir modelin söz dağarcığında hangi karakterlerin tek tokenlık girdiler oluşturduğunu otomatik olarak tespit ediyor. Değişiklik C++ dönüştürme katmanında yer alıyor ve sürüm notlarında belgeleniyor.
Neden önemli
Geliştiriciler, token listelerini elle hazırlamadan Granite modelleri için daha zengin karar verme istemleri oluşturabiliyor.
