Onderzoekers onder leiding van Saikiran Bathula publiceerden op 15 Oct 2026 een preprint over een kleine, vaste woordenschat voor kleine taalmodellen. Ze vervingen de gebruikelijke aangeleerde embeddingtabel in een Gemma-achtig model van 270 M parameters door een codeboek van 512 bits dat slechts 16 MB groot is en geen trainbare parameters bevat. Het model dat met deze tabel is getraind, evenaart of overtreft het origineel op benchmarks als LAMBADA en PIQA, gebruikt veel minder geheugen en werkt 5–6× sneller op een laptop-CPU.
Waarom het ertoe doet
Ontwikkelaars kunnen kleine, snelle taalmodellen op edgeapparaten inzetten zonder in te leveren op prestaties bij veelvoorkomende taken.
