OpenAI har lagt till ett nytt prestandaläge, Astra Ultrafast, i sin GPT‑6-modell. Det körs på NVIDIAs grafikchip Blackwell och är redan tillgängligt via OpenAI API för användare med abonnemangen ChatGPT Work och Codex. Enligt företaget kan läget generera token upp till åtta gånger snabbare än standardläget Astra, vilket gör att interaktiva AI-appar känns mer responsiva.
Därför är hastigheten viktig för utvecklare
Snabbare tokengenerering kortar ned arbetscykeln när en AI-assistent skriver kod, anropar ett verktyg, kontrollerar resultatet och väljer nästa steg. OpenAIs chef för inferens, Philippe Tillet, konstaterar att hastighetsökningen hjälper agenter att snabbare ta sig igenom cyklerna redigera–testa–felsöka. Den högre hastigheten minskar också kostnaderna för fördröjningar, vilket kan spela roll när många anrop görs i ett och samma arbetsflöde.
Så bidrar NVIDIAs hårdvara till prestandaökningen
OpenAI lyfter fram NVIDIAs ”stora satsning på verktyg och dokumentation”, som gjort det möjligt att skriva högpresterande kärnor som utnyttjar Blackwell-arkitekturen. Företaget använder också sina egna modeller för att kontinuerligt förbättra inferensprogramvaran som körs på GPU:erna, vilket innebär att prestandan kan fortsätta att öka även efter lanseringen.
Varför det spelar roll
Utvecklare som bygger verktyg för kodgenerering kan få märkbart snabbare svar, vilket gör cykeln redigera–testa–felsöka snabbare. Kortare arbetscykler innebär också att användare får vänta mindre på AI-funktioner i appar, vilket förbättrar helhetsupplevelsen. Det återstår att se hur mycket den lägre fördröjningen kommer att minska kostnaderna för slutanvändarna.
