A OpenAI adicionou ao modelo GPT‑6 um novo modo de desempenho chamado Astra Ultrafast. Ele funciona com os chips gráficos Blackwell da NVIDIA e já está disponível pela API da OpenAI para usuários dos planos ChatGPT Work e Codex. Segundo a empresa, o modo pode gerar tokens até oito vezes mais rápido do que a configuração padrão do Astra, tornando mais ágeis as aplicações de IA interativas.
Por que a velocidade importa para desenvolvedores
A geração mais rápida de tokens encurta o ciclo em que um assistente de IA escreve código, chama uma ferramenta, verifica o resultado e decide o próximo passo. Philippe Tillet, responsável por inferência na OpenAI, observa que o ganho de velocidade ajuda agentes a concluir mais rapidamente ciclos de edição, teste e depuração. A aceleração também reduz os custos de latência, o que pode ser importante quando muitas chamadas são feitas em um único fluxo de trabalho.
Como o hardware da NVIDIA permite esse ganho
A OpenAI atribui à “profunda dedicação da NVIDIA a ferramentas e documentação” a possibilidade de desenvolver kernels de alto desempenho que aproveitam a arquitetura Blackwell. A empresa também usa seus próprios modelos para aprimorar continuamente o software de inferência executado nas GPUs, o que significa que o desempenho pode continuar melhorando após o lançamento.
Por que importa
Desenvolvedores que criam ferramentas de geração de código podem obter respostas perceptivelmente mais rápidas, agilizando o ciclo de edição, teste e depuração. Ciclos mais curtos também reduzem o tempo de espera dos usuários por recursos baseados em IA nos aplicativos, melhorando a experiência geral. Ainda não se sabe quanto a menor latência reduzirá os custos para os usuários finais.
