Oossa

NVIDIA lance Nemotron‑Labs‑Sigma, un modèle de langage à diffusion plus rapide

NVIDIA publie 14 checkpoints ouverts de modèles de 3B et 8B paramètres, capables de décoder jusqu’à 4,2× plus vite que les LLM autorégressifs classiques.

Par Publié par Oossa: 1 min de lecture

Museums Victoria · Unsplash

NVIDIA a annoncé une nouvelle famille de modèles de langage baptisée Nemotron‑Labs‑Sigma. L’entreprise a publié 14 checkpoints — des versions à trois milliards de paramètres (3B) et à huit milliards de paramètres (8B) — sur la plateforme Hugging Face. Ces modèles utilisent un processus de diffusion continue qui débruite le texte dans un espace d’embedding appris à 16 dimensions. Selon NVIDIA, ils peuvent ainsi générer du texte jusqu’à 4,20 fois plus vite qu’avec le décodage autorégressif classique.

En quoi l’approche par diffusion est-elle différente ?

Les grands modèles de langage (LLM) traditionnels génèrent les tokens les uns après les autres : c’est ce qu’on appelle le décodage autorégressif. Nemotron‑Labs‑Sigma part au contraire d’une représentation bruitée de la phrase entière, puis élimine progressivement le bruit, comme le font les modèles de diffusion d’images pour créer des visuels. Comme la diffusion s’effectue dans un espace de faible dimension, NVIDIA peut réduire le processus à très peu d’étapes — deux passes avant seulement pour le modèle 3B — tout en préservant une bonne qualité. L’entreprise a aussi ajouté un mode « spéculatif » en une étape pour le checkpoint 8B, qui augmente encore le débit de 3,5× sur le benchmark GB200.

Résultats aux benchmarks

Dans l’article présentant les modèles, les auteurs ont comparé Sigma aux modèles de diffusion discrète les plus avancés et aux modèles autorégressifs de référence, sur un éventail de tâches. Après le préentraînement, Sigma a surpassé les autres sur les benchmarks de mathématiques et de programmation, notamment GSM8K, HumanEval et MBPP. Après un réglage fin supervisé, l’écart s’est creusé sur les problèmes plus difficiles, comme MATH‑500 et AIME, les progrès les plus marqués concernant la génération de code. Les versions distillées en quelques étapes ont multiplié la vitesse par environ 8 pour les tâches de mathématiques et par 4 pour celles de programmation, avec une légère baisse de précision.

Pourquoi c'est important

Pour les développeurs qui ont besoin de réponses rapides — par exemple pour des assistants de programmation ou des chatbots en temps réel — le décodage plus rapide de Sigma pourrait réduire la latence et les coûts liés au cloud. Les checkpoints ouverts permettent aussi aux chercheurs d’expérimenter la génération par diffusion sans entraîner les modèles de zéro. Les gains de vitesse annoncés n’ont pas encore été vérifiés de manière indépendante : les résultats en conditions réelles peuvent donc varier.

Cet article vous a-t-il été utile ?
Partager

À lire ensuite

Oossa · Newsletter

La semaine de l'IA, expliquée

Chaque lundi : l'essentiel de l'actualité, en langage clair. Gratuit, sans spam.