Un equipo de investigadores encabezado por Saikiran Bathula publicó el 15 de octubre de 2026 un preprint que describe un vocabulario diminuto y fijo para modelos de lenguaje pequeños. Sustituyeron la tabla de embeddings aprendidos habitual de un modelo de 270 M al estilo Gemma por un código de 512 bits que ocupa solo 16 MB y no tiene parámetros entrenables. El modelo entrenado con esta tabla iguala o supera al original en pruebas como LAMBADA y PIQA, utiliza mucha menos memoria y funciona entre 5 y 6 veces más rápido en la CPU de una laptop.
Por qué importa
Los desarrolladores pueden implementar modelos de lenguaje pequeños y rápidos en dispositivos periféricos sin sacrificar el rendimiento en tareas habituales.
