# NVIDIA、従来型LLMより最大4.2倍速い拡散言語モデルを公開

> NVIDIAが、3Bと8Bのモデルを計14種類のオープンチェックポイントとして公開。従来の自己回帰型LLMより最大4.2倍速くデコードできるという。

Oossa · 2026-11-20 · https://oossa.com/ja/nvidia-releases-nemotron-labs-sigma-a-faster-continuous-diffusion-language-model

NVIDIAは、Nemotron‑Labs‑Sigmaという新しい言語モデルシリーズを発表した。同社は、30億パラメーター（3B）と80億パラメーター（8B）のモデルからなる14種類のチェックポイントを、Hugging Faceのモデルハブで公開した。モデルは、学習済みの16次元埋め込み空間でテキストのノイズを取り除く連続拡散プロセスを採用している。NVIDIAによると、この方式により、標準的な自己回帰型デコードより最大4.20倍速くテキストを生成できる。

## 拡散方式の何が違うのか

従来の大規模言語モデル（LLM）は、自己回帰型デコードと呼ばれる方法で、トークンを1つずつ生成する。これに対し、Nemotron‑Labs‑Sigmaは文全体のノイズを含んだ表現から始め、画像生成の拡散モデルと同様に、反復的にノイズを取り除く。拡散処理を低次元空間で行うため、NVIDIAは品質を維持したまま、わずかなステップ数に処理を蒸留できる。3Bモデルでは、順方向パスをわずか2回に抑えられる。同社はまた、8Bチェックポイント向けに「投機的」な1ステップモードを追加し、GB200でのベンチマークではスループットがさらに3.5倍向上するとしている。

## ベンチマークでの性能

モデルを発表した論文では、著者らが複数のタスクでSigmaを、最先端の離散拡散モデルおよび標準的な自己回帰型モデルと比較した。事前学習後、SigmaはGSM8K、HumanEval、MBPPなどの数学・コーディングのベンチマークで他のモデルを上回った。教師ありファインチューニング後は、MATH‑500やAIMEなど、より難しい問題で差がさらに広がり、特にコード生成で大きな改善が見られた。少ないステップ数に蒸留したモデルは、精度をわずかに落とすだけで、数学タスクでは約8倍、コーディングタスクでは約4倍の高速化を実現した。

## 事実

- NVIDIAは2026年11月20日、3Bのベースモデル3種類、8Bのベースモデル3種類と蒸留版を合わせた計14種類のオープンチェックポイントを公開した。
- 拡散プロセスは学習済みの16次元埋め込み空間で動作し、自己回帰型デコードより最大4.20倍速くデコードできる。
- 少ないステップ数への蒸留により、精度をほとんど損なわずに、数学ベンチマークで約8倍、コーディングベンチマークで約4倍高速化する。
- 蒸留済み8Bモデルの1ステップ投機的デコードでは、GB200のベンチマークで、自己回帰型モデルと比べてスループットがさらに約3.5倍向上する。
- モデルの重みとコードはHugging Faceで公開されており、関連論文はarXiv（arXiv:2610.02665）で読める。

## なぜ重要か

コードアシスタントやリアルタイムのチャットボットなど、応答の速さが求められる用途では、Sigmaの高速なデコードによってレイテンシーやクラウドコストを抑えられる可能性がある。オープンチェックポイントを使えば、研究者はモデルを一から構築せずに、拡散ベースの生成を試せる。ただし、速度に関する主張はまだ独立した検証を受けておらず、実環境での効果は異なる可能性がある。

## 出典と参考資料

1. [NVIDIA AI Releases Nemotron-Labs-Sigma, a Continuous Diffusion Language Model with 14 checkpoints at 3B/8B](https://www.marktechpost.com/2026/11/20/nvidia-nemotron-labs-sigma-continuous-diffusion-language-model/) – MarkTechPost, 2026-11-20
2. [Large Language Continuous Diffusion Models](https://arxiv.org/abs/2610.02665) – arXiv, 2026-10-05
3. [NVIDIA](https://huggingface.co/collections/nvidia/nemotron-labs-sigma) – NVIDIA

最終更新: 2026-11-20
