# VocabX снизила стоимость инференса на 77% при проверке сочинений на португальском

> Hugging Face показала, что новая токенизация модели оценивания Qwen3‑4B сократила число токенов и время обработки.

Oossa · 2026-10-21 · https://oossa.com/ru/vocabx-cuts-inference-cost-by-77-for-portuguese-essay-grader

По данным Hugging Face, сервис проверки сочинений на португальском языке, работающий на модели Qwen3‑4B с 4 млрд параметров, сократил средний ответ с 350 до 101 токена после замены исходного токенизатора на специализированный — VocabX. Это снизило измеренную стоимость инференса на 77% и одновременно повысило качество оценивания. Метод перестраивает словарь, ориентируясь на стоимость токенов, а не на их частотность, и объединяет повторяющиеся структуры JSON в отдельные макротокены.

## Факты

- В тесте на 500 запросах стоимость снизилась на 77,0% (видеокарта RTX 5090, vLLM).
- Размер словаря сократился примерно со 152 000 до 65 000 элементов.

## Почему это важно

Для компаний, использующих небольшие модели в производственной среде, более экономичный токенизатор может вдвое сократить задержку и расходы на облачные сервисы без переобучения модели.

## Источники и ссылки

1. [How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications](https://huggingface.co/blog/Dharma-AI/vocabx-vocabulary-specialization) – Hugging Face, 2026-10-21

Обновлено: 2026-10-21