# NVIDIA brengt sneller diffusiemodel Nemotron‑Labs‑Sigma uit

> NVIDIA stelt 14 open checkpoints beschikbaar van modellen met 3B en 8B parameters. Die genereren tekst tot 4,2× sneller dan traditionele autoregressieve LLM’s.

Oossa · 2026-11-20 · https://oossa.com/nl/nvidia-releases-nemotron-labs-sigma-a-faster-continuous-diffusion-language-model

NVIDIA heeft een nieuwe familie taalmodellen aangekondigd: Nemotron‑Labs‑Sigma. Het bedrijf heeft 14 checkpoints gepubliceerd op de modelhub Hugging Face: versies met drie miljard (3B) en acht miljard (8B) parameters. De modellen gebruiken een continu diffusieproces dat tekst ontdoet van ruis in een aangeleerde embeddingruimte met 16 dimensies. Volgens NVIDIA kunnen de modellen daardoor tot 4,20 keer sneller tekst genereren dan met standaard autoregressieve decodering.

## Wat maakt de diffusieaanpak anders?

Traditionele grote taalmodellen (LLM’s) genereren token voor token; die methode heet autoregressieve decodering. Nemotron‑Labs‑Sigma begint daarentegen met een ruisachtige representatie van de hele zin en verwijdert de ruis stapsgewijs, vergelijkbaar met de manier waarop beeldmodellen op basis van diffusie afbeeldingen maken. Omdat de diffusie plaatsvindt in een ruimte met weinig dimensies, kan NVIDIA het proces terugbrengen tot heel weinig stappen – slechts twee voorwaartse passes voor het 3B-model – zonder veel kwaliteitsverlies. Het bedrijf heeft ook een ‘speculatieve’ modus met één stap toegevoegd aan het 8B-checkpoint. Die verhoogt de doorvoer op benchmark GB200 met nog eens 3,5×.

## Prestaties op benchmarks

In het artikel waarin de modellen werden geïntroduceerd, vergeleken de auteurs Sigma met geavanceerde discrete diffusiemodellen en standaard autoregressieve basismodellen op uiteenlopende taken. Na de voortraining presteerde Sigma beter dan de andere modellen op benchmarks voor wiskunde en programmeren, zoals GSM8K, HumanEval en MBPP. Na supervised fine-tuning namen de voorsprongen toe bij moeilijkere problemen, zoals MATH‑500 en AIME; de grootste verbeteringen waren te zien bij codegeneratie. De gedistilleerde versies met slechts enkele stappen waren op wiskundetaken ongeveer 8× sneller en op programmeertaken 4×, met slechts een klein verlies aan nauwkeurigheid.

## De feiten

- NVIDIA heeft op 20 nov 2026 14 open checkpoints uitgebracht: drie basismodellen met 3B parameters en drie met 8B parameters, plus gedistilleerde varianten.
- Het diffusieproces werkt in een aangeleerde embeddingruimte met 16 dimensies en kan tot 4,20 keer sneller decoderen dan autoregressieve decodering.
- Distillatie naar enkele stappen levert op benchmarks voor wiskunde ongeveer 8× en voor programmeren 4× snelheidswinst op, met verwaarloosbaar nauwkeurigheidsverlies.
- Speculatieve decodering in één stap op het gedistilleerde 8B-model zorgt op de GB200-benchmark voor ongeveer 3,5× meer doorvoer dan de autoregressieve tegenhanger.
- De modelgewichten en code zijn openbaar beschikbaar op Hugging Face; het bijbehorende artikel staat op arXiv (arXiv:2610.02665).

## Waarom het ertoe doet

Voor ontwikkelaars die snel antwoord nodig hebben, bijvoorbeeld voor codeassistenten of chatbots in realtime, kan Sigma’s snellere decodering de latentie en cloudkosten verlagen. Dankzij de open checkpoints kunnen onderzoekers bovendien experimenteren met generatie op basis van diffusie zonder de modellen zelf vanaf nul te hoeven bouwen. De snelheidsclaims zijn nog niet onafhankelijk gecontroleerd, dus de winst in de praktijk kan variëren.

## Bronnen en referenties

1. [NVIDIA AI Releases Nemotron-Labs-Sigma, a Continuous Diffusion Language Model with 14 checkpoints at 3B/8B](https://www.marktechpost.com/2026/11/20/nvidia-nemotron-labs-sigma-continuous-diffusion-language-model/) – MarkTechPost, 2026-11-20
2. [Large Language Continuous Diffusion Models](https://arxiv.org/abs/2610.02665) – arXiv, 2026-10-05
3. [NVIDIA](https://huggingface.co/collections/nvidia/nemotron-labs-sigma) – NVIDIA

Laatst bijgewerkt: 2026-11-20
