固定の16 MB語彙表、小型言語モデルで学習済み埋め込みを上回る

Saikiran Bathula氏らの研究チームは2026年10月15日、小型言語モデル向けの、固定サイズで学習不要の語彙表に関するプレプリントを公開した。Gemma系の270 Mモデルで、一般的な学習済み埋め込み表を、学習可能なパラメーターを持たない512ビットのコードブックに置き換えた。サイズはわずか16 MB。この表を使って学習したモデルは、LAMBADAやPIQAなどのベンチマークで元のモデルと同等以上の成績を示し、メモリー使用量を大幅に抑えながら、ノートPCのCPUで5～6倍高速に動作した。