NVIDIA anunció una nueva familia de modelos de lenguaje llamada Nemotron‑Labs‑Sigma. La empresa publicó 14 checkpoints —versiones de tres mil millones de parámetros (3B) y ocho mil millones de parámetros (8B)— en el repositorio de modelos Hugging Face. Los modelos usan un proceso de difusión continua que elimina el ruido del texto en un espacio de embeddings aprendido de 16 dimensiones. Según NVIDIA, esto permite generar texto hasta 4.20 veces más rápido que con la decodificación autorregresiva estándar.
¿Qué diferencia al enfoque de difusión?
Los modelos de lenguaje grandes (LLM) tradicionales generan un token tras otro, un método conocido como decodificación autorregresiva. Nemotron‑Labs‑Sigma, en cambio, parte de una representación ruidosa de la oración completa y elimina el ruido de forma iterativa, de manera similar a como los modelos de difusión de imágenes crean imágenes. Como la difusión se ejecuta en un espacio de pocas dimensiones, NVIDIA puede destilar el proceso en muy pocos pasos —tan solo dos pasadas hacia delante en el modelo 3B— y mantener una alta calidad. La empresa también añadió un modo «especulativo» de un solo paso para el checkpoint 8B, que aumenta otras 3.5× el rendimiento en la prueba de referencia GB200.
Rendimiento en pruebas de referencia
En el artículo que presentó los modelos, los autores compararon Sigma con modelos de difusión discreta de última generación y con modelos autorregresivos estándar en diversas tareas. Tras el preentrenamiento, Sigma superó a los demás en pruebas de matemáticas y programación, como GSM8K, HumanEval y MBPP. Después del ajuste fino supervisado, las ventajas fueron mayores en problemas más difíciles, como MATH‑500 y AIME, y las mejoras más notables se observaron en la generación de código. Las versiones destiladas de pocos pasos ofrecieron una aceleración de aproximadamente 8× en tareas de matemáticas y de 4× en tareas de programación, con una pequeña pérdida de precisión.
Por qué importa
Para desarrolladores que necesitan respuestas rápidas —por ejemplo, en asistentes de programación o chatbots en tiempo real—, la decodificación más rápida de Sigma podría reducir la latencia y los costos de la nube. Además, los checkpoints abiertos permiten a los investigadores experimentar con generación basada en difusión sin tener que crear los modelos desde cero. Aún está pendiente la verificación independiente de las afirmaciones sobre velocidad, así que los resultados en situaciones reales podrían variar.