# Fester 16-MB-Wortschatz schlägt gelernte Embeddings in kleinen Sprachmodellen

> Eine neue Studie zeigt: Ein festes 16-MB-Codebuch kann große, gelernte Embedding-Tabellen ersetzen, die Genauigkeit erhalten und zugleich den Speicherbedarf senken und die Inferenz beschleunigen.

Oossa · 2026-10-19 · https://oossa.com/de/frozen-16-mb-vocabulary-beats-learned-embeddings-in-small-language-models

Ein Forschungsteam unter Leitung von Saikiran Bathula hat am 15. Oktober 2026 einen Preprint zu einem winzigen, unveränderlichen Wortschatz für kleine Sprachmodelle veröffentlicht. Die Forschenden ersetzten die übliche gelernte Embedding-Tabelle eines Gemma-ähnlichen Modells mit 270 M Parametern durch ein 512-Bit-Codebuch, das nur 16 MB groß ist und keine trainierbaren Parameter enthält. Das mit dieser Tabelle trainierte Modell erzielt bei Benchmarks wie LAMBADA und PIQA gleich gute oder bessere Ergebnisse als das Original, benötigt aber deutlich weniger Speicher und läuft auf einer Laptop-CPU 5–6× schneller.

## Die Fakten

- Arbeit eingereicht am 15. Oktober 2026 („Do., 15. Okt. 2026, 06:34:18 UTC“)
- Größe des festen Wortschatzes: 16 MB gegenüber 168 MB für die gelernte Tabelle

## Warum es wichtig ist

Entwickler können kleine, schnelle Sprachmodelle auf Edge-Geräten einsetzen, ohne bei gängigen Aufgaben Leistung einzubüßen.

## Quellen und Referenzen

1. [Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models](https://arxiv.org/abs/2610.22428) – arXiv, 2026-10-19

Zuletzt aktualisiert: 2026-10-19