# NVIDIA推出Nemotron‑Labs‑Sigma，连续扩散语言模型提速

> NVIDIA开放了14个3B和8B参数模型检查点，解码速度最高可达传统自回归大语言模型的4.2倍。

Oossa · 2026-11-20 · https://oossa.com/zh/nvidia-releases-nemotron-labs-sigma-a-faster-continuous-diffusion-language-model

NVIDIA宣布推出名为Nemotron‑Labs‑Sigma的新一系列语言模型。该公司在Hugging Face模型平台发布了14个检查点，涵盖30亿参数（3B）和80亿参数（8B）版本。这些模型采用连续扩散过程，在学习得到的16维嵌入空间中对文本进行去噪。NVIDIA称，这使模型生成文本的速度最高可达标准自回归解码的4.20倍。

## 扩散方法有何不同？

传统大语言模型（LLM）逐个生成词元，这种方法称为自回归解码。Nemotron‑Labs‑Sigma则从整句话的噪声表示开始，通过迭代去噪生成文本，原理类似图像扩散模型生成图片。由于扩散过程是在低维空间中进行的，NVIDIA可以将其提炼为极少的步骤——3B模型只需两次前向传播——同时保持较高质量。该公司还为8B检查点加入了“推测式”单步模式，在GB200基准测试中进一步将吞吐量提升3.5倍。

## 基准测试表现

在介绍这些模型的论文中，作者将Sigma与先进的离散扩散模型以及标准自回归基线模型进行了多项任务对比。预训练后，Sigma在GSM8K、HumanEval和MBPP等数学与编程基准测试中的表现胜过其他模型。经过监督微调后，它在MATH‑500和AIME等更难题目上的优势进一步扩大，其中代码生成方面的提升最大。经过少步数蒸馏的版本在数学任务上提速约8倍、在编程任务上提速约4倍，准确率仅有小幅下降。

## 事实

- NVIDIA于20 Nov 2026发布了14个开放检查点，包括三个3B和三个8B基础模型以及蒸馏版本。
- 扩散过程在学习得到的16维嵌入空间中运行，解码速度最高可达自回归解码的4.20倍。
- 少步数蒸馏使数学基准测试提速约8倍、编程基准测试提速约4倍，准确率损失可以忽略不计。
- 在GB200基准测试中，蒸馏版8B模型的单步推测式解码相较于自回归对应模型，吞吐量还能额外提升约3.5倍。
- 模型权重和代码已在Hugging Face公开；相关论文发表于arXiv（arXiv:2610.02665）。

## 为什么重要

对于需要快速响应的开发者——例如代码助手或实时聊天机器人开发者——Sigma更快的解码速度有望降低延迟和云服务成本。开放检查点也让研究人员无需从头训练模型，就能试验基于扩散的文本生成。不过，速度方面的说法仍有待独立验证，实际效果可能有所不同。

## 来源与参考

1. [NVIDIA AI Releases Nemotron-Labs-Sigma, a Continuous Diffusion Language Model with 14 checkpoints at 3B/8B](https://www.marktechpost.com/2026/11/20/nvidia-nemotron-labs-sigma-continuous-diffusion-language-model/) – MarkTechPost, 2026-11-20
2. [Large Language Continuous Diffusion Models](https://arxiv.org/abs/2610.02665) – arXiv, 2026-10-05
3. [NVIDIA](https://huggingface.co/collections/nvidia/nemotron-labs-sigma) – NVIDIA

最后更新: 2026-11-20
