Oossa

NVIDIA veröffentlicht schnelleres Diffusions-Sprachmodell Nemotron‑Labs‑Sigma

NVIDIA stellt 14 offene Checkpoints von Modellen mit 3B und 8B Parametern bereit. Sie dekodieren bis zu 4,2× schneller als herkömmliche autoregressive LLMs.

Von Von Oossa veröffentlicht: 1 Min. Lesezeit

Museums Victoria · Unsplash

NVIDIA hat eine neue Sprachmodellfamilie namens Nemotron‑Labs‑Sigma vorgestellt. Das Unternehmen veröffentlichte 14 Checkpoints – Versionen mit drei Milliarden (3B) und acht Milliarden Parametern (8B) – auf der Modellplattform Hugging Face. Die Modelle nutzen einen kontinuierlichen Diffusionsprozess, der Text in einem erlernten 16-dimensionalen Einbettungsraum entrauscht. Laut NVIDIA können sie dadurch Text bis zu 4,20-mal schneller erzeugen als mit herkömmlicher autoregressiver Dekodierung.

Was ist am Diffusionsansatz anders?

Herkömmliche große Sprachmodelle (LLMs) erzeugen Token für Token. Dieses Verfahren heißt autoregressive Dekodierung. Nemotron‑Labs‑Sigma startet stattdessen mit einer verrauschten Darstellung des gesamten Satzes und entfernt schrittweise das Rauschen – ähnlich wie Bild-Diffusionsmodelle Bilder erzeugen. Da die Diffusion in einem niedrigdimensionalen Raum abläuft, kann NVIDIA den Prozess auf sehr wenige Schritte reduzieren – beim 3B-Modell auf nur zwei Vorwärtsdurchläufe –, ohne die Qualität wesentlich zu beeinträchtigen. Für den 8B-Checkpoint bietet das Unternehmen außerdem einen spekulativen Modus mit nur einem Schritt, der den Durchsatz auf dem GB200-Benchmark um weitere 3,5× steigert.

Leistung in Benchmarks

In der Studie zur Einführung der Modelle verglichen die Autoren Sigma bei verschiedenen Aufgaben mit führenden diskreten Diffusionsmodellen und herkömmlichen autoregressiven Modellen. Nach dem Vortraining schnitt Sigma bei Mathematik- und Programmier-Benchmarks wie GSM8K, HumanEval und MBPP besser ab als die Konkurrenz. Nach dem überwachten Feintuning fiel der Vorsprung bei schwierigeren Aufgaben wie MATH‑500 und AIME noch größer aus; die stärksten Verbesserungen gab es bei der Codegenerierung. Die auf wenige Schritte destillierten Varianten waren bei Mathematikaufgaben ungefähr 8× und bei Programmieraufgaben 4× schneller, bei nur geringfügigem Genauigkeitsverlust.

Warum es wichtig ist

Für Entwickler, die schnelle Antworten benötigen – etwa für Programmierassistenten oder Chatbots in Echtzeit –, könnte Sigmas schnellere Dekodierung die Latenz und Cloud-Kosten senken. Die offenen Checkpoints ermöglichen es Forschenden zudem, mit diffusionsbasierter Textgenerierung zu experimentieren, ohne die Modelle von Grund auf selbst entwickeln zu müssen. Die Geschwindigkeitsangaben wurden noch nicht unabhängig überprüft; die tatsächlichen Vorteile im Einsatz können daher variieren.

War dieser Artikel hilfreich?
Teilen

Als Nächstes lesen

Oossa · Newsletter

Die KI-Woche, erklärt

Jeden Montag: die Nachrichten, die man kennen sollte – verständlich. Kostenlos, kein Spam.