OpenAI ha aggiunto al modello GPT‑6 una nuova modalità ad alte prestazioni, chiamata Astra Ultrafast. Funziona sui chip grafici Blackwell di NVIDIA ed è già disponibile tramite l’API di OpenAI per gli utenti dei piani ChatGPT Work e Codex. Secondo l’azienda, la modalità può generare token fino a otto volte più velocemente rispetto all’impostazione Astra standard, rendendo più reattive le applicazioni di IA interattive.
Perché la velocità conta per gli sviluppatori
La generazione più rapida di token accorcia il ciclo in cui un assistente IA scrive codice, richiama uno strumento, verifica il risultato e decide il passo successivo. Philippe Tillet, responsabile dell’inferenza di OpenAI, osserva che l’aumento di velocità aiuta gli agenti a completare più rapidamente i cicli di modifica, test e debug. L’accelerazione riduce anche i costi legati alla latenza, un aspetto che può contare quando un singolo flusso di lavoro prevede molte chiamate.
Come l’hardware NVIDIA contribuisce alle prestazioni
OpenAI attribuisce il risultato ai «consistenti investimenti di NVIDIA in strumenti e documentazione», che hanno permesso all’azienda di scrivere kernel ad alte prestazioni in grado di sfruttare l’architettura Blackwell. OpenAI usa inoltre i propri modelli per migliorare costantemente il software di inferenza che gira sulle GPU: le prestazioni potrebbero quindi continuare a crescere anche dopo il lancio.
Perché conta
Gli sviluppatori che creano strumenti per la generazione di codice possono ottenere risposte sensibilmente più rapide, velocizzando i cicli di modifica, test e debug. Cicli più brevi riducono anche l’attesa per chi usa funzioni basate sull’IA nelle app, migliorando l’esperienza complessiva. Resta da vedere quanto la minore latenza ridurrà i costi per gli utenti finali.
