VocabXでポルトガル語作文採点の推論コストを77%削減

Hugging Faceは、40億パラメーターのQwen3‑4Bを使ったポルトガル語作文の採点サービスで、元のトークナイザーをVocabXというドメイン特化型のものに置き換えた結果、平均応答のトークン数が350から101に減ったと報告した。この変更により、採点品質が向上するとともに、測定上の推論コストが77%低下した。この手法では、出現頻度ではなくトークンコストを重視して語彙を再構築し、繰り返し使われるJSON構造を単一のマクロトークンにまとめる。