# Un vocabolario fisso da 16 MB supera gli embedding appresi nei piccoli modelli linguistici

> Un nuovo studio mostra che un codebook fisso da 16 MB può sostituire grandi tabelle di embedding appresi, mantenendo la precisione e riducendo le dimensioni e i tempi di inferenza.

Oossa · 2026-10-19 · https://oossa.com/it/frozen-16-mb-vocabulary-beats-learned-embeddings-in-small-language-models

Un gruppo di ricercatori guidato da Saikiran Bathula ha pubblicato il 15 Oct 2026 un preprint che descrive un vocabolario fisso e compatto per i piccoli modelli linguistici. Nel modello da 270 M in stile Gemma, i ricercatori hanno sostituito la consueta tabella di embedding appresi con un codebook a 512 bit da appena 16 MB, privo di parametri addestrabili. Addestrato con questa tabella, il modello eguaglia o supera quello originale in benchmark come LAMBADA e PIQA, usando molta meno memoria e funzionando 5–6 volte più velocemente su una CPU da laptop.

## I fatti

- Articolo presentato il 15 Oct 2026 ("Thu, 15 Oct 2026 06:34:18 UTC")
- Dimensioni del vocabolario fisso: 16 MB, contro i 168 MB della tabella appresa

## Perché conta

Gli sviluppatori possono distribuire modelli linguistici piccoli e veloci su dispositivi edge senza sacrificare le prestazioni nelle attività più comuni.

## Fonti e riferimenti

1. [Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models](https://arxiv.org/abs/2610.22428) – arXiv, 2026-10-19

Ultimo aggiornamento: 2026-10-19