# NVIDIA, 더 빠른 연속 확산 언어 모델 Nemotron‑Labs‑Sigma 공개

> NVIDIA가 3B·8B 파라미터 모델의 오픈 체크포인트 14종을 공개했다. 기존 자기회귀 LLM보다 최대 4.2배 빠르게 디코딩한다.

Oossa · 2026-11-20 · https://oossa.com/ko/nvidia-releases-nemotron-labs-sigma-a-faster-continuous-diffusion-language-model

NVIDIA가 Nemotron‑Labs‑Sigma라는 새로운 언어 모델 제품군을 발표했다. 회사는 30억 파라미터(3B)와 80억 파라미터(8B) 버전의 체크포인트 14종을 Hugging Face 모델 허브에 공개했다. 이 모델은 학습된 16차원 임베딩 공간에서 텍스트의 노이즈를 제거하는 연속 확산 과정을 사용한다. NVIDIA는 이 방식으로 표준 자기회귀 디코딩보다 최대 4.20배 빠르게 텍스트를 생성할 수 있다고 밝혔다.

## 확산 방식은 무엇이 다를까?

기존 대규모 언어 모델(LLM)은 토큰을 하나씩 생성하는 자기회귀 디코딩 방식을 사용한다. 반면 Nemotron‑Labs‑Sigma는 문장 전체의 노이즈가 섞인 표현에서 시작해 노이즈를 반복적으로 제거한다. 이미지 확산 모델이 그림을 만드는 방식과 비슷하다. 확산 과정이 저차원 공간에서 이뤄지기 때문에 NVIDIA는 품질을 높게 유지하면서 이를 아주 적은 단계로 증류할 수 있다. 3B 모델은 순전파를 두 번만 수행해도 된다. 회사는 또 8B 체크포인트에 ‘추측’ 방식의 1단계 모드를 추가해 GB200 벤치마크에서 처리량을 3.5배 더 높였다.

## 벤치마크 성능

모델을 소개한 논문에서 연구진은 여러 작업을 대상으로 Sigma를 최첨단 이산 확산 모델 및 표준 자기회귀 모델과 비교했다. 사전 학습 후 Sigma는 GSM8K, HumanEval, MBPP 같은 수학·코딩 벤치마크에서 다른 모델보다 높은 성능을 보였다. 지도 미세 조정 후에는 MATH‑500과 AIME처럼 더 어려운 문제에서 격차가 커졌으며, 코드 생성에서 가장 큰 개선이 나타났다. 몇 단계만 거치는 증류 버전은 정확도가 조금 떨어지는 데 그치면서 수학 작업에서 약 8배, 코딩 작업에서 4배 빠른 속도를 기록했다.

## 팩트

- NVIDIA는 2026년 11월 20일 3B 기본 모델 3종과 8B 기본 모델 3종, 증류 변형을 포함한 오픈 체크포인트 14종을 공개했다.
- 확산 과정은 학습된 16차원 임베딩 공간에서 작동하며 자기회귀 디코딩보다 최대 4.20배 빠르게 디코딩할 수 있다.
- 몇 단계만 거치는 증류를 적용하면 정확도 손실이 미미한 수준에서 수학 벤치마크는 약 8배, 코딩 벤치마크는 4배 빨라진다.
- 증류된 8B 모델의 1단계 추측 디코딩은 GB200 벤치마크에서 자기회귀 모델보다 처리량을 약 3.5배 추가로 높인다.
- 모델 가중치와 코드는 Hugging Face에서 공개됐으며, 관련 논문은 arXiv(arXiv:2610.02665)에 올라와 있다.

## 왜 중요한가

코드 보조 도구나 실시간 챗봇처럼 빠른 응답이 필요한 개발자에게 Sigma의 빠른 디코딩은 지연 시간과 클라우드 비용을 줄여줄 수 있다. 오픈 체크포인트를 활용하면 연구자들이 모델을 처음부터 만들지 않고도 확산 기반 생성 방식을 실험할 수 있다. 다만 속도 주장은 아직 독립적으로 검증되지 않았으므로 실제 성능 향상은 환경에 따라 다를 수 있다.

## 출처 및 참고 자료

1. [NVIDIA AI Releases Nemotron-Labs-Sigma, a Continuous Diffusion Language Model with 14 checkpoints at 3B/8B](https://www.marktechpost.com/2026/11/20/nvidia-nemotron-labs-sigma-continuous-diffusion-language-model/) – MarkTechPost, 2026-11-20
2. [Large Language Continuous Diffusion Models](https://arxiv.org/abs/2610.02665) – arXiv, 2026-10-05
3. [NVIDIA](https://huggingface.co/collections/nvidia/nemotron-labs-sigma) – NVIDIA

최종 업데이트: 2026-11-20
