Oossa

NVIDIA lancia Nemotron‑Labs‑Sigma, un modello linguistico a diffusione più veloce

NVIDIA rende disponibili 14 checkpoint aperti di modelli da 3B e 8B parametri, capaci di decodificare fino a 4,2× più velocemente dei tradizionali LLM autoregressivi.

Di Pubblicato da Oossa: 1 min di lettura

Museums Victoria · Unsplash

NVIDIA ha annunciato una nuova famiglia di modelli linguistici, chiamata Nemotron‑Labs‑Sigma. L’azienda ha pubblicato 14 checkpoint — versioni da tre miliardi di parametri (3B) e da otto miliardi di parametri (8B) — sull’hub di modelli Hugging Face. I modelli si basano su un processo di diffusione continua che rimuove il rumore dal testo in uno spazio di embedding appreso a 16 dimensioni. Secondo NVIDIA, questo consente di generare testo fino a 4.20 volte più velocemente rispetto alla decodifica autoregressiva standard.

Cosa cambia con l’approccio a diffusione?

I tradizionali modelli linguistici di grandi dimensioni (LLM) generano un token dopo l’altro, con un metodo chiamato decodifica autoregressiva. Nemotron‑Labs‑Sigma parte invece da una rappresentazione rumorosa dell’intera frase e rimuove il rumore in modo iterativo, in maniera simile ai modelli di diffusione per immagini. Poiché il processo di diffusione avviene in uno spazio a bassa dimensionalità, NVIDIA può distillarlo in pochissimi passaggi — appena due passaggi in avanti per il modello 3B — mantenendo alta la qualità. L’azienda ha inoltre aggiunto una modalità “speculativa” a un solo passaggio per il checkpoint 8B, che aumenta di un ulteriore 3.5× la velocità di elaborazione nel benchmark GB200.

Prestazioni nei benchmark

Nel documento che presenta i modelli, gli autori hanno confrontato Sigma con i modelli di diffusione discreta più avanzati e con i modelli autoregressivi standard su una serie di attività. Dopo il pre-addestramento, Sigma ha superato gli altri nei benchmark di matematica e programmazione, tra cui GSM8K, HumanEval e MBPP. Dopo il fine-tuning supervisionato, il vantaggio è aumentato nei problemi più difficili, come MATH‑500 e AIME, con i miglioramenti maggiori nella generazione di codice. Le versioni distillate con pochi passaggi hanno fatto registrare un’accelerazione di circa 8× nelle attività matematiche e di 4× in quelle di programmazione, con una lieve perdita di accuratezza.

Perché conta

Per gli sviluppatori che hanno bisogno di risposte rapide — ad esempio per assistenti di programmazione o chatbot in tempo reale — la decodifica più veloce di Sigma potrebbe ridurre la latenza e i costi del cloud. I checkpoint aperti consentono inoltre ai ricercatori di sperimentare la generazione basata sulla diffusione senza dover addestrare i modelli da zero. Le dichiarazioni sulle prestazioni non sono ancora state verificate in modo indipendente, quindi i vantaggi nell’uso reale potrebbero variare.

Questo articolo ti è stato utile?
Condividi

Leggi anche

Oossa · Newsletter

La settimana dell'IA, spiegata

Ogni lunedì: le notizie che contano, in parole semplici. Gratis, niente spam.