# VocabX让葡萄牙语作文评分推理成本降低77%

> Hugging Face表示，为Qwen3‑4B评分模型重建分词器后，token数量和运行时间均有所下降。

Oossa · 2026-10-21 · https://oossa.com/zh/vocabx-cuts-inference-cost-by-77-for-portuguese-essay-grader

Hugging Face报告称，一项基于拥有4 billion参数的Qwen3‑4B模型的葡萄牙语作文评分服务，将原有分词器换成名为VocabX的领域专用分词器后，平均响应长度从350 tokens降至101 tokens。此举使测得的推理成本降低77%，同时提高了评分质量。该方法会重建词表，重点优化token成本而非词频，并将重复出现的JSON结构合并为单个宏token。

## 事实

- 在500次请求的测试中，成本降低77.0%（RTX 5090 GPU，vLLM）。
- 词表规模从约152,000项缩减至约65,000项。

## 为什么重要

对在生产环境中运行小规模模型的企业来说，更便宜的分词器无需重新训练模型，就可能将延迟和云服务账单减半。

## 来源与参考

1. [How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications](https://huggingface.co/blog/Dharma-AI/vocabx-vocabulary-specialization) – Hugging Face, 2026-10-21

最后更新: 2026-10-21