# NVIDIA выпустила Nemotron‑Labs‑Sigma — быструю диффузионную языковую модель

> NVIDIA открыла доступ к 14 контрольным точкам моделей с 3 млрд и 8 млрд параметров. Они генерируют текст до 4,2 раза быстрее традиционных авторегрессионных LLM.

Oossa · 2026-11-20 · https://oossa.com/ru/nvidia-releases-nemotron-labs-sigma-a-faster-continuous-diffusion-language-model

NVIDIA представила новое семейство языковых моделей Nemotron‑Labs‑Sigma. Компания опубликовала на платформе Hugging Face 14 контрольных точек — версии с 3 млрд (3B) и 8 млрд (8B) параметров. Модели используют непрерывный диффузионный процесс, который постепенно устраняет шум в текстовом представлении размерностью 16, обученном на данных. По словам NVIDIA, благодаря этому они генерируют текст до 4,20 раза быстрее, чем при стандартном авторегрессионном декодировании.

## Чем отличается диффузионный подход?

Традиционные большие языковые модели (LLM) генерируют текст по одному токену за раз — этот метод называется авторегрессионным декодированием. Nemotron‑Labs‑Sigma вместо этого начинает с зашумлённого представления всего предложения и итеративно убирает шум — примерно так же, как диффузионные модели создают изображения. Поскольку диффузия происходит в пространстве низкой размерности, NVIDIA может свести процесс к очень малому числу шагов — для модели 3B достаточно всего двух прямых проходов — без заметного снижения качества. Компания также добавила для контрольной точки 8B «спекулятивный» режим в один шаг, который ещё в 3,5 раза повышает пропускную способность по результатам теста на GB200.

## Результаты тестов

В статье, где представлены модели, авторы сравнили Sigma с передовыми дискретными диффузионными моделями и стандартными авторегрессионными моделями на разных задачах. После предварительного обучения Sigma показала лучшие результаты, чем остальные модели, в математических и программистских тестах, включая GSM8K, HumanEval и MBPP. После дообучения с учителем преимущество стало ещё заметнее на более сложных задачах, таких как MATH‑500 и AIME; особенно выросли результаты генерации кода. Дистиллированные версии, требующие всего нескольких шагов, обеспечили примерно 8-кратное ускорение на математических задачах и 4-кратное — на задачах программирования при незначительном снижении точности.

## Факты

- NVIDIA выпустила 14 открытых контрольных точек — три базовые модели 3B и три 8B, а также их дистиллированные варианты — 20 Nov 2026.
- Диффузионный процесс работает в обученном пространстве эмбеддингов размерностью 16 и позволяет декодировать текст до 4,20 раза быстрее, чем при авторегрессионном декодировании.
- Дистилляция до нескольких шагов ускоряет работу примерно в 8 раз на математических тестах и в 4 раза на тестах по программированию при незначительной потере точности.
- Спекулятивное декодирование в один шаг на дистиллированной модели 8B дополнительно повышает пропускную способность примерно в 3,5 раза по сравнению с авторегрессионной моделью в тесте на GB200.
- Веса и код модели доступны на Hugging Face; сопутствующая статья опубликована на arXiv (arXiv:2610.02665).

## Почему это важно

Для разработчиков, которым важны быстрые ответы, например создателей помощников для программирования или чат-ботов реального времени, ускоренное декодирование Sigma может снизить задержки и расходы на облачные вычисления. Открытые контрольные точки также позволяют исследователям экспериментировать с генерацией на основе диффузии, не создавая модели с нуля. Независимая проверка заявлений о скорости ещё не проводилась, поэтому результаты в реальных условиях могут отличаться.

## Источники и ссылки

1. [NVIDIA AI Releases Nemotron-Labs-Sigma, a Continuous Diffusion Language Model with 14 checkpoints at 3B/8B](https://www.marktechpost.com/2026/11/20/nvidia-nemotron-labs-sigma-continuous-diffusion-language-model/) – MarkTechPost, 2026-11-20
2. [Large Language Continuous Diffusion Models](https://arxiv.org/abs/2610.02665) – arXiv, 2026-10-05
3. [NVIDIA](https://huggingface.co/collections/nvidia/nemotron-labs-sigma) – NVIDIA

Обновлено: 2026-11-20
