Oossa

NVIDIA lança Nemotron‑Labs‑Sigma, modelo de difusão até 4,2× mais rápido

NVIDIA disponibiliza 14 checkpoints abertos de modelos com 3B e 8B de parâmetros, que decodificam até 4,2× mais rápido que LLMs autorregressivos tradicionais.

Por Publicado pelo Oossa: 1 min de leitura

Museums Victoria · Unsplash

A NVIDIA anunciou uma nova família de modelos de linguagem chamada Nemotron‑Labs‑Sigma. A empresa publicou 14 checkpoints — versões com três bilhões de parâmetros (3B) e oito bilhões de parâmetros (8B) — no repositório de modelos Hugging Face. Os modelos usam um processo de difusão contínua que elimina ruído do texto em um espaço de embeddings aprendido de 16 dimensões. Segundo a NVIDIA, isso permite gerar texto até 4,20 vezes mais rápido que a decodificação autorregressiva padrão.

O que diferencia a abordagem de difusão?

Os grandes modelos de linguagem (LLMs) tradicionais geram um token de cada vez, em um método chamado decodificação autorregressiva. Já o Nemotron‑Labs‑Sigma começa com uma representação ruidosa da frase inteira e remove o ruído de forma iterativa, de maneira semelhante à criação de imagens por modelos de difusão. Como o processo de difusão ocorre em um espaço de baixa dimensionalidade, a NVIDIA consegue destilá-lo em pouquíssimas etapas — apenas duas passagens forward no modelo 3B — sem comprometer a qualidade. A empresa também adicionou um modo especulativo de uma etapa para o checkpoint 8B, que aumenta a taxa de processamento em mais 3,5× no benchmark GB200.

Desempenho em benchmarks

No artigo que apresentou os modelos, os autores compararam o Sigma com modelos de difusão discreta de ponta e com modelos autorregressivos padrão em diversas tarefas. Após o pré-treinamento, o Sigma superou os demais em benchmarks de matemática e programação, como GSM8K, HumanEval e MBPP. Depois do ajuste fino supervisionado, a vantagem aumentou em problemas mais difíceis, como MATH‑500 e AIME, com os maiores avanços na geração de código. As versões destiladas para usar poucas etapas foram cerca de 8× mais rápidas em tarefas de matemática e 4× em tarefas de programação, com uma pequena perda de precisão.

Por que importa

Para desenvolvedores que precisam de respostas rápidas — por exemplo, em assistentes de programação ou chatbots em tempo real —, a decodificação mais veloz do Sigma pode reduzir a latência e os custos de nuvem. Os checkpoints abertos também permitem que pesquisadores experimentem a geração baseada em difusão sem precisar criar os modelos do zero. Ainda falta uma verificação independente das alegações de velocidade, então os ganhos no uso real podem variar.

Este artigo foi útil?
Compartilhar

Leia a seguir

Oossa · Newsletter

A semana em IA, explicada

Toda segunda-feira: as notícias que valem a pena, em linguagem simples. Grátis, sem spam.