# Un vocabulaire figé de 16 Mo surpasse les embeddings appris des petits modèles de langage

> Une nouvelle étude montre qu’un codebook fixe de 16 Mo peut remplacer de grandes tables d’embeddings apprises, sans perte de précision, tout en réduisant la taille du modèle et en accélérant l’inférence.

Oossa · 2026-10-19 · https://oossa.com/fr/frozen-16-mb-vocabulary-beats-learned-embeddings-in-small-language-models

Des chercheurs dirigés par Saikiran Bathula ont publié le 15 Oct 2026 un préprint présentant un vocabulaire figé de petite taille pour les petits modèles de langage. Ils ont remplacé la table d’embeddings habituellement apprise d’un modèle de type Gemma de 270 M par un codebook de 512 bits qui ne pèse que 16 MB et ne comporte aucun paramètre entraînable. Entraîné avec cette table, le modèle égale ou dépasse le modèle d’origine sur des benchmarks comme LAMBADA et PIQA, tout en utilisant beaucoup moins de mémoire et en tournant 5–6× plus vite sur un processeur de laptop.

## Les faits

- Article soumis le 15 Oct 2026 (« Thu, 15 Oct 2026 06:34:18 UTC »)
- Taille du vocabulaire figé : 16 MB, contre 168 MB pour la table apprise

## Pourquoi c'est important

Les développeurs peuvent déployer de petits modèles de langage rapides sur des appareils périphériques sans sacrifier leurs performances sur des tâches courantes.

## Sources et références

1. [Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models](https://arxiv.org/abs/2610.22428) – arXiv, 2026-10-19

Dernière mise à jour: 2026-10-19