# NVIDIA veröffentlicht schnelleres Diffusions-Sprachmodell Nemotron‑Labs‑Sigma

> NVIDIA stellt 14 offene Checkpoints von Modellen mit 3B und 8B Parametern bereit. Sie dekodieren bis zu 4,2× schneller als herkömmliche autoregressive LLMs.

Oossa · 2026-11-20 · https://oossa.com/de/nvidia-releases-nemotron-labs-sigma-a-faster-continuous-diffusion-language-model

NVIDIA hat eine neue Sprachmodellfamilie namens Nemotron‑Labs‑Sigma vorgestellt. Das Unternehmen veröffentlichte 14 Checkpoints – Versionen mit drei Milliarden (3B) und acht Milliarden Parametern (8B) – auf der Modellplattform Hugging Face. Die Modelle nutzen einen kontinuierlichen Diffusionsprozess, der Text in einem erlernten 16-dimensionalen Einbettungsraum entrauscht. Laut NVIDIA können sie dadurch Text bis zu 4,20-mal schneller erzeugen als mit herkömmlicher autoregressiver Dekodierung.

## Was ist am Diffusionsansatz anders?

Herkömmliche große Sprachmodelle (LLMs) erzeugen Token für Token. Dieses Verfahren heißt autoregressive Dekodierung. Nemotron‑Labs‑Sigma startet stattdessen mit einer verrauschten Darstellung des gesamten Satzes und entfernt schrittweise das Rauschen – ähnlich wie Bild-Diffusionsmodelle Bilder erzeugen. Da die Diffusion in einem niedrigdimensionalen Raum abläuft, kann NVIDIA den Prozess auf sehr wenige Schritte reduzieren – beim 3B-Modell auf nur zwei Vorwärtsdurchläufe –, ohne die Qualität wesentlich zu beeinträchtigen. Für den 8B-Checkpoint bietet das Unternehmen außerdem einen spekulativen Modus mit nur einem Schritt, der den Durchsatz auf dem GB200-Benchmark um weitere 3,5× steigert.

## Leistung in Benchmarks

In der Studie zur Einführung der Modelle verglichen die Autoren Sigma bei verschiedenen Aufgaben mit führenden diskreten Diffusionsmodellen und herkömmlichen autoregressiven Modellen. Nach dem Vortraining schnitt Sigma bei Mathematik- und Programmier-Benchmarks wie GSM8K, HumanEval und MBPP besser ab als die Konkurrenz. Nach dem überwachten Feintuning fiel der Vorsprung bei schwierigeren Aufgaben wie MATH‑500 und AIME noch größer aus; die stärksten Verbesserungen gab es bei der Codegenerierung. Die auf wenige Schritte destillierten Varianten waren bei Mathematikaufgaben ungefähr 8× und bei Programmieraufgaben 4× schneller, bei nur geringfügigem Genauigkeitsverlust.

## Die Fakten

- NVIDIA veröffentlichte am 20. Nov. 2026 insgesamt 14 offene Checkpoints auf Hugging Face: drei Basismodelle mit 3B und drei mit 8B Parametern sowie destillierte Varianten.
- Der Diffusionsprozess arbeitet in einem erlernten 16-dimensionalen Einbettungsraum und kann bis zu 4,20-mal schneller dekodieren als autoregressive Verfahren.
- Die Destillation auf wenige Schritte beschleunigt Mathematik-Benchmarks um etwa 8× und Programmier-Benchmarks um 4×, bei vernachlässigbarem Genauigkeitsverlust.
- Die spekulative Dekodierung in einem Schritt bringt beim destillierten 8B-Modell auf dem GB200-Benchmark gegenüber dem autoregressiven Gegenstück einen zusätzlichen Durchsatzgewinn von etwa 3,5×.
- Modellgewichte und Code sind öffentlich auf Hugging Face verfügbar; die begleitende Studie ist auf arXiv zu finden (arXiv:2610.02665).

## Warum es wichtig ist

Für Entwickler, die schnelle Antworten benötigen – etwa für Programmierassistenten oder Chatbots in Echtzeit –, könnte Sigmas schnellere Dekodierung die Latenz und Cloud-Kosten senken. Die offenen Checkpoints ermöglichen es Forschenden zudem, mit diffusionsbasierter Textgenerierung zu experimentieren, ohne die Modelle von Grund auf selbst entwickeln zu müssen. Die Geschwindigkeitsangaben wurden noch nicht unabhängig überprüft; die tatsächlichen Vorteile im Einsatz können daher variieren.

## Quellen und Referenzen

1. [NVIDIA AI Releases Nemotron-Labs-Sigma, a Continuous Diffusion Language Model with 14 checkpoints at 3B/8B](https://www.marktechpost.com/2026/11/20/nvidia-nemotron-labs-sigma-continuous-diffusion-language-model/) – MarkTechPost, 2026-11-20
2. [Large Language Continuous Diffusion Models](https://arxiv.org/abs/2610.02665) – arXiv, 2026-10-05
3. [NVIDIA](https://huggingface.co/collections/nvidia/nemotron-labs-sigma) – NVIDIA

Zuletzt aktualisiert: 2026-11-20
