Oossa

NVIDIA lanza Nemotron‑Labs‑Sigma, un modelo de difusión más rápido

NVIDIA publica 14 checkpoints abiertos de modelos de 3B y 8B parámetros, que generan texto hasta 4.2× más rápido que los LLM autorregresivos tradicionales.

Por Publicado por Oossa: 1 min de lectura

Museums Victoria · Unsplash

NVIDIA anunció una nueva familia de modelos de lenguaje llamada Nemotron‑Labs‑Sigma. La empresa publicó 14 checkpoints —versiones de tres mil millones de parámetros (3B) y ocho mil millones de parámetros (8B)— en el repositorio de modelos Hugging Face. Los modelos usan un proceso de difusión continua que elimina el ruido del texto en un espacio de embeddings aprendido de 16 dimensiones. Según NVIDIA, esto permite generar texto hasta 4.20 veces más rápido que con la decodificación autorregresiva estándar.

¿Qué diferencia al enfoque de difusión?

Los modelos de lenguaje grandes (LLM) tradicionales generan un token tras otro, un método conocido como decodificación autorregresiva. Nemotron‑Labs‑Sigma, en cambio, parte de una representación ruidosa de la oración completa y elimina el ruido de forma iterativa, de manera similar a como los modelos de difusión de imágenes crean imágenes. Como la difusión se ejecuta en un espacio de pocas dimensiones, NVIDIA puede destilar el proceso en muy pocos pasos —tan solo dos pasadas hacia delante en el modelo 3B— y mantener una alta calidad. La empresa también añadió un modo «especulativo» de un solo paso para el checkpoint 8B, que aumenta otras 3.5× el rendimiento en la prueba de referencia GB200.

Rendimiento en pruebas de referencia

En el artículo que presentó los modelos, los autores compararon Sigma con modelos de difusión discreta de última generación y con modelos autorregresivos estándar en diversas tareas. Tras el preentrenamiento, Sigma superó a los demás en pruebas de matemáticas y programación, como GSM8K, HumanEval y MBPP. Después del ajuste fino supervisado, las ventajas fueron mayores en problemas más difíciles, como MATH‑500 y AIME, y las mejoras más notables se observaron en la generación de código. Las versiones destiladas de pocos pasos ofrecieron una aceleración de aproximadamente 8× en tareas de matemáticas y de 4× en tareas de programación, con una pequeña pérdida de precisión.

Por qué importa

Para desarrolladores que necesitan respuestas rápidas —por ejemplo, en asistentes de programación o chatbots en tiempo real—, la decodificación más rápida de Sigma podría reducir la latencia y los costos de la nube. Además, los checkpoints abiertos permiten a los investigadores experimentar con generación basada en difusión sin tener que crear los modelos desde cero. Aún está pendiente la verificación independiente de las afirmaciones sobre velocidad, así que los resultados en situaciones reales podrían variar.

¿Te resultó útil este artículo?
Compartir

Sigue leyendo

Oossa · Boletín

La semana en IA, explicada

Cada lunes: las noticias que vale la pena conocer, en lenguaje sencillo. Gratis, sin spam.