NVIDIA hat eine neue Sprachmodellfamilie namens Nemotron‑Labs‑Sigma vorgestellt. Das Unternehmen veröffentlichte 14 Checkpoints – Versionen mit drei Milliarden (3B) und acht Milliarden Parametern (8B) – auf der Modellplattform Hugging Face. Die Modelle nutzen einen kontinuierlichen Diffusionsprozess, der Text in einem erlernten 16-dimensionalen Einbettungsraum entrauscht. Laut NVIDIA können sie dadurch Text bis zu 4,20-mal schneller erzeugen als mit herkömmlicher autoregressiver Dekodierung.
Was ist am Diffusionsansatz anders?
Herkömmliche große Sprachmodelle (LLMs) erzeugen Token für Token. Dieses Verfahren heißt autoregressive Dekodierung. Nemotron‑Labs‑Sigma startet stattdessen mit einer verrauschten Darstellung des gesamten Satzes und entfernt schrittweise das Rauschen – ähnlich wie Bild-Diffusionsmodelle Bilder erzeugen. Da die Diffusion in einem niedrigdimensionalen Raum abläuft, kann NVIDIA den Prozess auf sehr wenige Schritte reduzieren – beim 3B-Modell auf nur zwei Vorwärtsdurchläufe –, ohne die Qualität wesentlich zu beeinträchtigen. Für den 8B-Checkpoint bietet das Unternehmen außerdem einen spekulativen Modus mit nur einem Schritt, der den Durchsatz auf dem GB200-Benchmark um weitere 3,5× steigert.
Leistung in Benchmarks
In der Studie zur Einführung der Modelle verglichen die Autoren Sigma bei verschiedenen Aufgaben mit führenden diskreten Diffusionsmodellen und herkömmlichen autoregressiven Modellen. Nach dem Vortraining schnitt Sigma bei Mathematik- und Programmier-Benchmarks wie GSM8K, HumanEval und MBPP besser ab als die Konkurrenz. Nach dem überwachten Feintuning fiel der Vorsprung bei schwierigeren Aufgaben wie MATH‑500 und AIME noch größer aus; die stärksten Verbesserungen gab es bei der Codegenerierung. Die auf wenige Schritte destillierten Varianten waren bei Mathematikaufgaben ungefähr 8× und bei Programmieraufgaben 4× schneller, bei nur geringfügigem Genauigkeitsverlust.
Warum es wichtig ist
Für Entwickler, die schnelle Antworten benötigen – etwa für Programmierassistenten oder Chatbots in Echtzeit –, könnte Sigmas schnellere Dekodierung die Latenz und Cloud-Kosten senken. Die offenen Checkpoints ermöglichen es Forschenden zudem, mit diffusionsbasierter Textgenerierung zu experimentieren, ohne die Modelle von Grund auf selbst entwickeln zu müssen. Die Geschwindigkeitsangaben wurden noch nicht unabhängig überprüft; die tatsächlichen Vorteile im Einsatz können daher variieren.