Des chercheurs dirigés par Saikiran Bathula ont publié le 15 Oct 2026 un préprint présentant un vocabulaire figé de petite taille pour les petits modèles de langage. Ils ont remplacé la table d’embeddings habituellement apprise d’un modèle de type Gemma de 270 M par un codebook de 512 bits qui ne pèse que 16 MB et ne comporte aucun paramètre entraînable. Entraîné avec cette table, le modèle égale ou dépasse le modèle d’origine sur des benchmarks comme LAMBADA et PIQA, tout en utilisant beaucoup moins de mémoire et en tournant 5–6× plus vite sur un processeur de laptop.
Pourquoi c'est important
Les développeurs peuvent déployer de petits modèles de langage rapides sur des appareils périphériques sans sacrifier leurs performances sur des tâches courantes.
