NVIDIA宣布推出名为Nemotron‑Labs‑Sigma的新一系列语言模型。该公司在Hugging Face模型平台发布了14个检查点,涵盖30亿参数(3B)和80亿参数(8B)版本。这些模型采用连续扩散过程,在学习得到的16维嵌入空间中对文本进行去噪。NVIDIA称,这使模型生成文本的速度最高可达标准自回归解码的4.20倍。
扩散方法有何不同?
传统大语言模型(LLM)逐个生成词元,这种方法称为自回归解码。Nemotron‑Labs‑Sigma则从整句话的噪声表示开始,通过迭代去噪生成文本,原理类似图像扩散模型生成图片。由于扩散过程是在低维空间中进行的,NVIDIA可以将其提炼为极少的步骤——3B模型只需两次前向传播——同时保持较高质量。该公司还为8B检查点加入了“推测式”单步模式,在GB200基准测试中进一步将吞吐量提升3.5倍。
基准测试表现
在介绍这些模型的论文中,作者将Sigma与先进的离散扩散模型以及标准自回归基线模型进行了多项任务对比。预训练后,Sigma在GSM8K、HumanEval和MBPP等数学与编程基准测试中的表现胜过其他模型。经过监督微调后,它在MATH‑500和AIME等更难题目上的优势进一步扩大,其中代码生成方面的提升最大。经过少步数蒸馏的版本在数学任务上提速约8倍、在编程任务上提速约4倍,准确率仅有小幅下降。
为什么重要
对于需要快速响应的开发者——例如代码助手或实时聊天机器人开发者——Sigma更快的解码速度有望降低延迟和云服务成本。开放检查点也让研究人员无需从头训练模型,就能试验基于扩散的文本生成。不过,速度方面的说法仍有待独立验证,实际效果可能有所不同。