Pesquisadores liderados por Saikiran Bathula divulgaram um pré-print em 15 Oct 2026 que descreve um vocabulário minúsculo e fixo para modelos de linguagem pequenos. Eles substituíram a tabela de embeddings aprendidos normalmente usada em um modelo de 270 M no estilo Gemma por um código de 512 bits, com apenas 16 MB e sem parâmetros treináveis. Treinado com essa tabela, o modelo iguala ou supera o original em benchmarks como LAMBADA e PIQA, usando muito menos memória e funcionando de 5 a 6 vezes mais rápido na CPU de um laptop.
Por que importa
Desenvolvedores podem executar modelos de linguagem pequenos e rápidos em dispositivos de borda sem sacrificar o desempenho em tarefas comuns.
