# Vaste woordenschat van 16 MB presteert beter dan geleerde embeddings

> Een nieuwe studie laat zien dat een vaste codeboektabel van 16 MB grote, aangeleerde embeddingtabellen kan vervangen. De nauwkeurigheid blijft behouden, terwijl het model kleiner wordt en sneller inferentie uitvoert.

Oossa · 2026-10-19 · https://oossa.com/nl/frozen-16-mb-vocabulary-beats-learned-embeddings-in-small-language-models

Onderzoekers onder leiding van Saikiran Bathula publiceerden op 15 Oct 2026 een preprint over een kleine, vaste woordenschat voor kleine taalmodellen. Ze vervingen de gebruikelijke aangeleerde embeddingtabel in een Gemma-achtig model van 270 M parameters door een codeboek van 512 bits dat slechts 16 MB groot is en geen trainbare parameters bevat. Het model dat met deze tabel is getraind, evenaart of overtreft het origineel op benchmarks als LAMBADA en PIQA, gebruikt veel minder geheugen en werkt 5–6× sneller op een laptop-CPU.

## De feiten

- Artikel ingediend op 15 Oct 2026 ("Thu, 15 Oct 2026 06:34:18 UTC")
- Grootte vaste woordenschat: 16 MB tegenover 168 MB voor de aangeleerde tabel

## Waarom het ertoe doet

Ontwikkelaars kunnen kleine, snelle taalmodellen op edgeapparaten inzetten zonder in te leveren op prestaties bij veelvoorkomende taken.

## Bronnen en referenties

1. [Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models](https://arxiv.org/abs/2610.22428) – arXiv, 2026-10-19

Laatst bijgewerkt: 2026-10-19