# 고정형 16MB 어휘집, 소형 언어 모델에서 학습 임베딩 능가

> 새 연구에 따르면 고정형 16MB 코드북으로 대형 학습 임베딩 테이블을 대체해 정확도를 유지하면서 모델 크기를 줄이고 추론 속도를 높일 수 있다.

Oossa · 2026-10-19 · https://oossa.com/ko/frozen-16-mb-vocabulary-beats-learned-embeddings-in-small-language-models

Saikiran Bathula가 이끄는 연구진은 2026년 10월 15일 소형 언어 모델용 초소형 고정형 어휘집을 소개한 사전 공개 논문을 발표했다. 연구진은 Gemma 스타일의 270 M 모델에서 일반적으로 쓰이는 학습 임베딩 테이블을 학습 가능한 매개변수가 없는 512비트 코드북으로 교체했다. 코드북 크기는 16 MB에 불과하다. 이 테이블을 사용해 학습한 모델은 LAMBADA와 PIQA 같은 벤치마크에서 기존 모델과 비슷하거나 더 나은 성능을 보였으며, 메모리 사용량은 훨씬 적고 노트북 CPU에서 5~6배 빠르게 실행됐다.

## 팩트

- 논문 제출: 2026년 10월 15일("Thu, 15 Oct 2026 06:34:18 UTC")
- 고정형 어휘집 크기: 16 MB, 학습 테이블은 168 MB

## 왜 중요한가

개발자는 흔히 쓰이는 작업에서 성능을 희생하지 않고도 엣지 기기에서 작고 빠른 언어 모델을 배포할 수 있다.

## 출처 및 참고 자료

1. [Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models](https://arxiv.org/abs/2610.22428) – arXiv, 2026-10-19

최종 업데이트: 2026-10-19