# Un vocabulario fijo de 16 MB supera a los embeddings aprendidos en modelos pequeños

> Un nuevo estudio muestra que un código fijo de 16 MB puede sustituir grandes tablas de embeddings aprendidos, mantener la precisión y reducir el tamaño y el tiempo de inferencia.

Oossa · 2026-10-19 · https://oossa.com/es/frozen-16-mb-vocabulary-beats-learned-embeddings-in-small-language-models

Un equipo de investigadores encabezado por Saikiran Bathula publicó el 15 de octubre de 2026 un preprint que describe un vocabulario diminuto y fijo para modelos de lenguaje pequeños. Sustituyeron la tabla de embeddings aprendidos habitual de un modelo de 270 M al estilo Gemma por un código de 512 bits que ocupa solo 16 MB y no tiene parámetros entrenables. El modelo entrenado con esta tabla iguala o supera al original en pruebas como LAMBADA y PIQA, utiliza mucha menos memoria y funciona entre 5 y 6 veces más rápido en la CPU de una laptop.

## Los hechos

- Artículo presentado el 15 de octubre de 2026 («jue., 15 de oct. de 2026, 06:34:18 UTC»)
- Tamaño del vocabulario fijo: 16 MB, frente a una tabla aprendida de 168 MB

## Por qué importa

Los desarrolladores pueden implementar modelos de lenguaje pequeños y rápidos en dispositivos periféricos sin sacrificar el rendimiento en tareas habituales.

## Fuentes y referencias

1. [Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models](https://arxiv.org/abs/2610.22428) – arXiv, 2026-10-19

Última actualización: 2026-10-19