Forskare under ledning av Saikiran Bathula publicerade den 15 Oct 2026 en förhandsstudie om ett litet, fryst ordförråd för små språkmodeller. De ersatte den vanliga inlärda embeddingtabellen i en Gemma-liknande modell på 270 M parametrar med en 512-bitars kodbok på bara 16 MB, utan några träningsbara parametrar. Modellen som tränats med den här tabellen matchar eller överträffar originalet i benchmarktester som LAMBADA och PIQA, samtidigt som den använder betydligt mindre minne och körs 5–6× snabbare på en bärbar dators processor.
Varför det spelar roll
Utvecklare kan köra små och snabba språkmodeller på edge-enheter utan att försämra prestandan på vanliga uppgifter.
