OpenAI añadió a su modelo GPT‑6 un nuevo modo de rendimiento llamado Astra Ultrafast. Funciona con los chips gráficos Blackwell de NVIDIA y ya está disponible a través de la API de OpenAI para quienes tienen los planes ChatGPT Work y Codex. La empresa afirma que el modo puede generar tokens hasta ocho veces más rápido que la configuración Astra estándar, lo que hace que las aplicaciones interactivas de IA respondan con mayor agilidad.
Por qué la velocidad importa a los desarrolladores
Generar tokens más rápido acorta el ciclo en el que un asistente de IA escribe código, utiliza una herramienta, comprueba el resultado y decide qué hacer después. Philippe Tillet, responsable de inferencia de OpenAI, señala que el aumento de velocidad ayuda a los agentes a completar más rápido los ciclos de edición, pruebas y depuración. La aceleración también reduce los costos de latencia, algo que puede ser importante cuando se realizan muchas llamadas en un mismo flujo de trabajo.
Cómo el hardware de NVIDIA permite esta mejora
OpenAI atribuye a la «profunda inversión en herramientas y documentación» de NVIDIA la posibilidad de escribir kernels de alto rendimiento que aprovechan la arquitectura Blackwell. La empresa también utiliza sus propios modelos para mejorar continuamente el software de inferencia que se ejecuta en las GPU, por lo que el rendimiento podría seguir aumentando después del lanzamiento.
Por qué importa
Los desarrolladores que crean herramientas de generación de código pueden obtener respuestas notablemente más rápidas y agilizar los ciclos de edición, pruebas y depuración. Estos ciclos más breves también reducen el tiempo de espera de los usuarios ante las funciones de las aplicaciones impulsadas por IA, lo que mejora la experiencia general. Está por verse cuánto reducirá la menor latencia los costos para los usuarios finales.
