# Vocabulário fixo de 16 MB supera embeddings aprendidos em modelos pequenos

> Um novo estudo mostra que um código fixo de 16 MB pode substituir grandes tabelas de embeddings aprendidos, mantendo a precisão, reduzindo o tamanho e acelerando a inferência.

Oossa · 2026-10-19 · https://oossa.com/pt/frozen-16-mb-vocabulary-beats-learned-embeddings-in-small-language-models

Pesquisadores liderados por Saikiran Bathula divulgaram um pré-print em 15 Oct 2026 que descreve um vocabulário minúsculo e fixo para modelos de linguagem pequenos. Eles substituíram a tabela de embeddings aprendidos normalmente usada em um modelo de 270 M no estilo Gemma por um código de 512 bits, com apenas 16 MB e sem parâmetros treináveis. Treinado com essa tabela, o modelo iguala ou supera o original em benchmarks como LAMBADA e PIQA, usando muito menos memória e funcionando de 5 a 6 vezes mais rápido na CPU de um laptop.

## Os fatos

- Artigo enviado em 15 Oct 2026 ("Thu, 15 Oct 2026 06:34:18 UTC")
- Tamanho do vocabulário fixo: 16 MB, contra 168 MB da tabela aprendida

## Por que importa

Desenvolvedores podem executar modelos de linguagem pequenos e rápidos em dispositivos de borda sem sacrificar o desempenho em tarefas comuns.

## Fontes e referências

1. [Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models](https://arxiv.org/abs/2610.22428) – arXiv, 2026-10-19

Última atualização: 2026-10-19