Hugging Face, 4 milyar parametreli Qwen3‑4B modelini kullanan Portekizce kompozisyon değerlendirme hizmetinin, orijinal belirteçleyiciyi VocabX adlı alana özgü bir belirteçleyiciyle değiştirdikten sonra ortalama yanıt uzunluğunu 350 belirteçten 101 belirtece indirdiğini bildirdi. Bu değişiklik, değerlendirme kalitesini artırırken ölçülen çıkarım maliyetini de %77 düşürdü. Yöntem, söz varlığını sıklık yerine belirteç maliyetine odaklanacak şekilde yeniden oluşturuyor ve yinelenen JSON yapılarını tek makro belirteçlerde birleştiriyor.
Neden önemli
Üretimde küçük ölçekli modeller çalıştıran şirketler, daha ucuz bir belirteçleyiciyle modeli yeniden eğitmeden gecikme sürelerini ve bulut faturalarını yarıya indirebilir.
