# 固定の16 MB語彙表、小型言語モデルで学習済み埋め込みを上回る

> 新たな研究によると、固定の16 MBコードブックで大規模な学習済み埋め込み表を置き換えられる。精度を保ちながら、モデルを小型化し、推論を高速化できる。

Oossa · 2026-10-19 · https://oossa.com/ja/frozen-16-mb-vocabulary-beats-learned-embeddings-in-small-language-models

Saikiran Bathula氏らの研究チームは2026年10月15日、小型言語モデル向けの、固定サイズで学習不要の語彙表に関するプレプリントを公開した。Gemma系の270 Mモデルで、一般的な学習済み埋め込み表を、学習可能なパラメーターを持たない512ビットのコードブックに置き換えた。サイズはわずか16 MB。この表を使って学習したモデルは、LAMBADAやPIQAなどのベンチマークで元のモデルと同等以上の成績を示し、メモリー使用量を大幅に抑えながら、ノートPCのCPUで5～6倍高速に動作した。

## 事実

- 論文の投稿日時：2026年10月15日（「Thu, 15 Oct 2026 06:34:18 UTC」）
- 固定語彙表のサイズは16 MB。学習済みの表は168 MB。

## なぜ重要か

開発者は、一般的なタスクでの性能を損なうことなく、小型で高速な言語モデルをエッジデバイスに導入できる。

## 出典と参考資料

1. [Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models](https://arxiv.org/abs/2610.22428) – arXiv, 2026-10-19

最終更新: 2026-10-19