# Fryst ordförråd på 16 MB slår inlärda embeddingar

> En ny studie visar att en fast kodbok på 16 MB kan ersätta stora inlärda embeddingtabeller, behålla träffsäkerheten och samtidigt minska storleken och snabba upp inferensen.

Oossa · 2026-10-19 · https://oossa.com/sv/frozen-16-mb-vocabulary-beats-learned-embeddings-in-small-language-models

Forskare under ledning av Saikiran Bathula publicerade den 15 Oct 2026 en förhandsstudie om ett litet, fryst ordförråd för små språkmodeller. De ersatte den vanliga inlärda embeddingtabellen i en Gemma-liknande modell på 270 M parametrar med en 512-bitars kodbok på bara 16 MB, utan några träningsbara parametrar. Modellen som tränats med den här tabellen matchar eller överträffar originalet i benchmarktester som LAMBADA och PIQA, samtidigt som den använder betydligt mindre minne och körs 5–6× snabbare på en bärbar dators processor.

## Fakta

- Artikeln skickades in 15 Oct 2026 ("Thu, 15 Oct 2026 06:34:18 UTC")
- Storleken på det frysta ordförrådet: 16 MB jämfört med den inlärda tabellens 168 MB

## Varför det spelar roll

Utvecklare kan köra små och snabba språkmodeller på edge-enheter utan att försämra prestandan på vanliga uppgifter.

## Källor och referenser

1. [Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models](https://arxiv.org/abs/2610.22428) – arXiv, 2026-10-19

Senast uppdaterad: 2026-10-19