A NVIDIA anunciou uma nova família de modelos de linguagem chamada Nemotron‑Labs‑Sigma. A empresa publicou 14 checkpoints — versões com três bilhões de parâmetros (3B) e oito bilhões de parâmetros (8B) — no repositório de modelos Hugging Face. Os modelos usam um processo de difusão contínua que elimina ruído do texto em um espaço de embeddings aprendido de 16 dimensões. Segundo a NVIDIA, isso permite gerar texto até 4,20 vezes mais rápido que a decodificação autorregressiva padrão.
O que diferencia a abordagem de difusão?
Os grandes modelos de linguagem (LLMs) tradicionais geram um token de cada vez, em um método chamado decodificação autorregressiva. Já o Nemotron‑Labs‑Sigma começa com uma representação ruidosa da frase inteira e remove o ruído de forma iterativa, de maneira semelhante à criação de imagens por modelos de difusão. Como o processo de difusão ocorre em um espaço de baixa dimensionalidade, a NVIDIA consegue destilá-lo em pouquíssimas etapas — apenas duas passagens forward no modelo 3B — sem comprometer a qualidade. A empresa também adicionou um modo especulativo de uma etapa para o checkpoint 8B, que aumenta a taxa de processamento em mais 3,5× no benchmark GB200.
Desempenho em benchmarks
No artigo que apresentou os modelos, os autores compararam o Sigma com modelos de difusão discreta de ponta e com modelos autorregressivos padrão em diversas tarefas. Após o pré-treinamento, o Sigma superou os demais em benchmarks de matemática e programação, como GSM8K, HumanEval e MBPP. Depois do ajuste fino supervisionado, a vantagem aumentou em problemas mais difíceis, como MATH‑500 e AIME, com os maiores avanços na geração de código. As versões destiladas para usar poucas etapas foram cerca de 8× mais rápidas em tarefas de matemática e 4× em tarefas de programação, com uma pequena perda de precisão.
Por que importa
Para desenvolvedores que precisam de respostas rápidas — por exemplo, em assistentes de programação ou chatbots em tempo real —, a decodificação mais veloz do Sigma pode reduzir a latência e os custos de nuvem. Os checkpoints abertos também permitem que pesquisadores experimentem a geração baseada em difusão sem precisar criar os modelos do zero. Ainda falta uma verificação independente das alegações de velocidade, então os ganhos no uso real podem variar.