# NVIDIA släpper snabbare diffusionsspråkmodell

> NVIDIA gör 14 öppna modellcheckpoints med 3B och 8B parametrar tillgängliga. De avkodar upp till 4,2× snabbare än traditionella autoregressiva språkmodeller.

Oossa · 2026-11-20 · https://oossa.com/sv/nvidia-releases-nemotron-labs-sigma-a-faster-continuous-diffusion-language-model

NVIDIA presenterade en ny språkmodellfamilj som heter Nemotron‑Labs‑Sigma. Företaget publicerade 14 checkpoints – versioner med tre miljarder (3B) respektive åtta miljarder (8B) parametrar – på modellplattformen Hugging Face. Modellerna använder en kontinuerlig diffusionsprocess som avbrusar text i ett inlärt 16-dimensionellt inbäddningsrum. Enligt NVIDIA gör detta att modellerna kan generera text upp till 4.20 gånger snabbare än med vanlig autoregressiv avkodning.

## Vad skiljer diffusionsmetoden från andra?

Traditionella stora språkmodeller (LLM:er) genererar en token i taget, en metod som kallas autoregressiv avkodning. Nemotron‑Labs‑Sigma börjar i stället med en brusig representation av hela meningen och tar iterativt bort bruset, ungefär som diffusionsmodeller för bilder skapar bilder. Eftersom diffusionen sker i ett lågdimensionellt rum kan NVIDIA destillera processen till mycket få steg – så få som två framåtpasseringar för 3B-modellen – och ändå behålla hög kvalitet. Företaget har också lagt till ett spekulativt enstegsläge för 8B-checkpointen, som ökar genomströmningen ytterligare 3,5× i benchmarktestet på GB200.

## Prestanda i benchmarktester

I artikeln där modellerna presenterades jämförde författarna Sigma med de bästa diskreta diffusionsmodellerna och vanliga autoregressiva modeller på en rad uppgifter. Efter förträningen presterade Sigma bättre än de andra på matematik- och kodningstester som GSM8K, HumanEval och MBPP. Efter övervakad finjustering blev försprånget större på svårare problem som MATH‑500 och AIME, med de största förbättringarna inom kodgenerering. De destillerade versionerna med få steg var ungefär 8× snabbare på matematikuppgifter och 4× snabbare på kodningsuppgifter, med bara en liten försämring av träffsäkerheten.

## Fakta

- NVIDIA släppte 14 öppna checkpoints – tre basmodeller med 3B parametrar och tre med 8B, samt destillerade varianter – den 20 nov 2026.
- Diffusionsprocessen arbetar i ett inlärt 16-dimensionellt inbäddningsrum och kan avkoda upp till 4.20 gånger snabbare än autoregressiv avkodning.
- Destillering till ett fåtal steg ger ungefär 8× högre hastighet i matematiktester och 4× i kodningstester, med försumbar försämring av träffsäkerheten.
- Spekulativ avkodning i ett steg med den destillerade 8B-modellen ger ytterligare cirka 3,5× högre genomströmning än den autoregressiva motsvarigheten i GB200-testet.
- Modellvikterna och koden finns öppet tillgängliga på Hugging Face. Den tillhörande artikeln finns på arXiv (arXiv:2610.02665).

## Varför det spelar roll

För utvecklare som behöver snabba svar, till exempel för kodassistenter eller chattbotar i realtid, kan Sigmas snabbare avkodning minska svarstider och molnkostnader. De öppna checkpointsen gör det också möjligt för forskare att experimentera med diffusionsbaserad textgenerering utan att bygga modellerna från grunden. Hastighetspåståendena har ännu inte verifierats oberoende, så resultaten i praktiken kan variera.

## Källor och referenser

1. [NVIDIA AI Releases Nemotron-Labs-Sigma, a Continuous Diffusion Language Model with 14 checkpoints at 3B/8B](https://www.marktechpost.com/2026/11/20/nvidia-nemotron-labs-sigma-continuous-diffusion-language-model/) – MarkTechPost, 2026-11-20
2. [Large Language Continuous Diffusion Models](https://arxiv.org/abs/2610.02665) – arXiv, 2026-10-05
3. [NVIDIA](https://huggingface.co/collections/nvidia/nemotron-labs-sigma) – NVIDIA

Senast uppdaterad: 2026-11-20
