NVIDIA представила новое семейство языковых моделей Nemotron‑Labs‑Sigma. Компания опубликовала на платформе Hugging Face 14 контрольных точек — версии с 3 млрд (3B) и 8 млрд (8B) параметров. Модели используют непрерывный диффузионный процесс, который постепенно устраняет шум в текстовом представлении размерностью 16, обученном на данных. По словам NVIDIA, благодаря этому они генерируют текст до 4,20 раза быстрее, чем при стандартном авторегрессионном декодировании.
Чем отличается диффузионный подход?
Традиционные большие языковые модели (LLM) генерируют текст по одному токену за раз — этот метод называется авторегрессионным декодированием. Nemotron‑Labs‑Sigma вместо этого начинает с зашумлённого представления всего предложения и итеративно убирает шум — примерно так же, как диффузионные модели создают изображения. Поскольку диффузия происходит в пространстве низкой размерности, NVIDIA может свести процесс к очень малому числу шагов — для модели 3B достаточно всего двух прямых проходов — без заметного снижения качества. Компания также добавила для контрольной точки 8B «спекулятивный» режим в один шаг, который ещё в 3,5 раза повышает пропускную способность по результатам теста на GB200.
Результаты тестов
В статье, где представлены модели, авторы сравнили Sigma с передовыми дискретными диффузионными моделями и стандартными авторегрессионными моделями на разных задачах. После предварительного обучения Sigma показала лучшие результаты, чем остальные модели, в математических и программистских тестах, включая GSM8K, HumanEval и MBPP. После дообучения с учителем преимущество стало ещё заметнее на более сложных задачах, таких как MATH‑500 и AIME; особенно выросли результаты генерации кода. Дистиллированные версии, требующие всего нескольких шагов, обеспечили примерно 8-кратное ускорение на математических задачах и 4-кратное — на задачах программирования при незначительном снижении точности.
Почему это важно
Для разработчиков, которым важны быстрые ответы, например создателей помощников для программирования или чат-ботов реального времени, ускоренное декодирование Sigma может снизить задержки и расходы на облачные вычисления. Открытые контрольные точки также позволяют исследователям экспериментировать с генерацией на основе диффузии, не создавая модели с нуля. Независимая проверка заявлений о скорости ещё не проводилась, поэтому результаты в реальных условиях могут отличаться.