Ein Forschungsteam unter Leitung von Saikiran Bathula hat am 15. Oktober 2026 einen Preprint zu einem winzigen, unveränderlichen Wortschatz für kleine Sprachmodelle veröffentlicht. Die Forschenden ersetzten die übliche gelernte Embedding-Tabelle eines Gemma-ähnlichen Modells mit 270 M Parametern durch ein 512-Bit-Codebuch, das nur 16 MB groß ist und keine trainierbaren Parameter enthält. Das mit dieser Tabelle trainierte Modell erzielt bei Benchmarks wie LAMBADA und PIQA gleich gute oder bessere Ergebnisse als das Original, benötigt aber deutlich weniger Speicher und läuft auf einer Laptop-CPU 5–6× schneller.
Warum es wichtig ist
Entwickler können kleine, schnelle Sprachmodelle auf Edge-Geräten einsetzen, ohne bei gängigen Aufgaben Leistung einzubüßen.
