Oossa

NVIDIA brengt sneller diffusiemodel Nemotron‑Labs‑Sigma uit

NVIDIA stelt 14 open checkpoints beschikbaar van modellen met 3B en 8B parameters. Die genereren tekst tot 4,2× sneller dan traditionele autoregressieve LLM’s.

Door Gepubliceerd door Oossa: 1 min lezen

Museums Victoria · Unsplash

NVIDIA heeft een nieuwe familie taalmodellen aangekondigd: Nemotron‑Labs‑Sigma. Het bedrijf heeft 14 checkpoints gepubliceerd op de modelhub Hugging Face: versies met drie miljard (3B) en acht miljard (8B) parameters. De modellen gebruiken een continu diffusieproces dat tekst ontdoet van ruis in een aangeleerde embeddingruimte met 16 dimensies. Volgens NVIDIA kunnen de modellen daardoor tot 4,20 keer sneller tekst genereren dan met standaard autoregressieve decodering.

Wat maakt de diffusieaanpak anders?

Traditionele grote taalmodellen (LLM’s) genereren token voor token; die methode heet autoregressieve decodering. Nemotron‑Labs‑Sigma begint daarentegen met een ruisachtige representatie van de hele zin en verwijdert de ruis stapsgewijs, vergelijkbaar met de manier waarop beeldmodellen op basis van diffusie afbeeldingen maken. Omdat de diffusie plaatsvindt in een ruimte met weinig dimensies, kan NVIDIA het proces terugbrengen tot heel weinig stappen – slechts twee voorwaartse passes voor het 3B-model – zonder veel kwaliteitsverlies. Het bedrijf heeft ook een ‘speculatieve’ modus met één stap toegevoegd aan het 8B-checkpoint. Die verhoogt de doorvoer op benchmark GB200 met nog eens 3,5×.

Prestaties op benchmarks

In het artikel waarin de modellen werden geïntroduceerd, vergeleken de auteurs Sigma met geavanceerde discrete diffusiemodellen en standaard autoregressieve basismodellen op uiteenlopende taken. Na de voortraining presteerde Sigma beter dan de andere modellen op benchmarks voor wiskunde en programmeren, zoals GSM8K, HumanEval en MBPP. Na supervised fine-tuning namen de voorsprongen toe bij moeilijkere problemen, zoals MATH‑500 en AIME; de grootste verbeteringen waren te zien bij codegeneratie. De gedistilleerde versies met slechts enkele stappen waren op wiskundetaken ongeveer 8× sneller en op programmeertaken 4×, met slechts een klein verlies aan nauwkeurigheid.

Waarom het ertoe doet

Voor ontwikkelaars die snel antwoord nodig hebben, bijvoorbeeld voor codeassistenten of chatbots in realtime, kan Sigma’s snellere decodering de latentie en cloudkosten verlagen. Dankzij de open checkpoints kunnen onderzoekers bovendien experimenteren met generatie op basis van diffusie zonder de modellen zelf vanaf nul te hoeven bouwen. De snelheidsclaims zijn nog niet onafhankelijk gecontroleerd, dus de winst in de praktijk kan variëren.

Was dit artikel nuttig?
Delen

Lees ook

Oossa · Nieuwsbrief

De AI-week, uitgelegd

Elke maandag: het nieuws dat ertoe doet, in gewone taal. Gratis, geen spam.