Hugging Face는 40억 개 매개변수를 갖춘 Qwen3‑4B 기반 포르투갈어 작문 채점 서비스에서 기존 토크나이저를 VocabX라는 도메인 특화 토크나이저로 교체한 뒤, 평균 응답 길이가 350토큰에서 101토큰으로 줄었다고 밝혔다. 이 변경으로 측정된 추론 비용은 77% 감소했고 채점 품질은 개선됐다. 이 방식은 빈도보다 토큰 비용에 초점을 맞춰 어휘를 재구성하고, 반복되는 JSON 구조를 하나의 매크로 토큰으로 합친다.
왜 중요한가
소규모 모델을 운영 환경에서 돌리는 기업은 모델을 재학습하지 않고도 더 저렴한 토크나이저를 사용해 지연 시간과 클라우드 비용을 절반으로 줄일 수 있다.