Oossa

NVIDIA släpper snabbare diffusionsspråkmodell

NVIDIA gör 14 öppna modellcheckpoints med 3B och 8B parametrar tillgängliga. De avkodar upp till 4,2× snabbare än traditionella autoregressiva språkmodeller.

Av Publicerad av Oossa: 1 min läsning

Museums Victoria · Unsplash

NVIDIA presenterade en ny språkmodellfamilj som heter Nemotron‑Labs‑Sigma. Företaget publicerade 14 checkpoints – versioner med tre miljarder (3B) respektive åtta miljarder (8B) parametrar – på modellplattformen Hugging Face. Modellerna använder en kontinuerlig diffusionsprocess som avbrusar text i ett inlärt 16-dimensionellt inbäddningsrum. Enligt NVIDIA gör detta att modellerna kan generera text upp till 4.20 gånger snabbare än med vanlig autoregressiv avkodning.

Vad skiljer diffusionsmetoden från andra?

Traditionella stora språkmodeller (LLM:er) genererar en token i taget, en metod som kallas autoregressiv avkodning. Nemotron‑Labs‑Sigma börjar i stället med en brusig representation av hela meningen och tar iterativt bort bruset, ungefär som diffusionsmodeller för bilder skapar bilder. Eftersom diffusionen sker i ett lågdimensionellt rum kan NVIDIA destillera processen till mycket få steg – så få som två framåtpasseringar för 3B-modellen – och ändå behålla hög kvalitet. Företaget har också lagt till ett spekulativt enstegsläge för 8B-checkpointen, som ökar genomströmningen ytterligare 3,5× i benchmarktestet på GB200.

Prestanda i benchmarktester

I artikeln där modellerna presenterades jämförde författarna Sigma med de bästa diskreta diffusionsmodellerna och vanliga autoregressiva modeller på en rad uppgifter. Efter förträningen presterade Sigma bättre än de andra på matematik- och kodningstester som GSM8K, HumanEval och MBPP. Efter övervakad finjustering blev försprånget större på svårare problem som MATH‑500 och AIME, med de största förbättringarna inom kodgenerering. De destillerade versionerna med få steg var ungefär 8× snabbare på matematikuppgifter och 4× snabbare på kodningsuppgifter, med bara en liten försämring av träffsäkerheten.

Varför det spelar roll

För utvecklare som behöver snabba svar, till exempel för kodassistenter eller chattbotar i realtid, kan Sigmas snabbare avkodning minska svarstider och molnkostnader. De öppna checkpointsen gör det också möjligt för forskare att experimentera med diffusionsbaserad textgenerering utan att bygga modellerna från grunden. Hastighetspåståendena har ännu inte verifierats oberoende, så resultaten i praktiken kan variera.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.