VocabX让葡萄牙语作文评分推理成本降低77%

Hugging Face报告称，一项基于拥有4 billion参数的Qwen3‑4B模型的葡萄牙语作文评分服务，将原有分词器换成名为VocabX的领域专用分词器后，平均响应长度从350 tokens降至101 tokens。此举使测得的推理成本降低77%，同时提高了评分质量。该方法会重建词表，重点优化token成本而非词频，并将重复出现的JSON结构合并为单个宏token。