OpenAI:s GPT-6 Astra Ultrafast finns via OpenAI API och för behöriga användare av ChatGPT Work och Codex, enligt NVIDIA. Modellen körs på NVIDIA Blackwell-GPU:er. NVIDIA uppger att Ultrafast kan generera token upp till åtta gånger snabbare än GPT-6 Astra i standardläget. I tillkännagivandet anges inte vilka villkor eller mätningar jämförelsen bygger på, så siffran bör ses som ett maximalt värde som företaget rapporterar – inte som en garanterad hastighetsökning för varje förfrågan.
Modellen är främst avsedd för arbete med upprepade svar och verktygsanrop. En kodningsagent kan till exempel skriva kod, köra ett verktyg, granska resultatet och avgöra vad den ska göra härnäst. NVIDIA säger att snabbare generering kan korta väntetiderna och göra interaktiva appar mer responsiva. Företaget uppger inte hur mycket tid användare sparar på en viss uppgift.
Hur uppnås den högre hastigheten?
OpenAI säger att företaget använde sina egna modeller för att optimera inferensprogramvaran som körs på NVIDIA-GPU:er. Inferens är processen där en tränad modell genererar ett svar. Enligt NVIDIA utnyttjar arbetet Blackwells programmerbarhet för att utveckla och införa förbättringar i programvaran. OpenAI:s inferenschef Philippe Tillet säger att företaget använde NVIDIAs verktyg och dokumentation för att göra sina modeller bättre på att programmera Blackwell- och Rubin-GPU:er, och att Astra kan använda den kunskapen för att skapa högpresterande kärnor – programvara som kör operationer på hårdvaran.
Tillkännagivandet beskriver detta som ett pågående arbete: OpenAI säger att företaget kan fortsätta att förfina programvaran efter driftsättningen. NVIDIA framhåller också att en programmerbar plattform kan göra det möjligt för team att återanvända infrastrukturen för träning, inferens och förstärkningsinlärning när arbetsbelastningen förändras. Blogginlägget innehåller inga oberoende testresultat, detaljerade riktlinjer för benchmarktester eller en specifikation av vilken hårdvara som används för Ultrafast.
Vem kan använda tjänsten?
Utvecklare kan använda GPT-6 Astra Ultrafast via OpenAI API. Enligt NVIDIA kan även behöriga användare av ChatGPT Work och Codex använda modellen, men inlägget specificerar inte vilka behörighetskrav som gäller. NVIDIA hänvisar utvecklare till en guide för Ultrafast med pris- och implementeringsinformation. Blogginlägget anger ingen prissättning eller jämförelse av kostnaderna med Astra Standard. Därmed återstår en viktig praktisk fråga: snabbare generering kan vara till hjälp i arbetsflöden där tiden är viktig, men användarna behöver läsa guiden och ta hänsyn till sin egen användning för att bedöma kostnad och tillgång.
Varför det spelar roll
För utvecklare som använder kodningsagenter eller andra arbetsflöden med verktygsanrop kan snabbare svar minska pauserna mellan olika steg. Inlägget anger dock inte hur mycket tid som sparas i verkliga uppgifter. Eftersom varken API-priset eller villkoren bakom uppgiften om upp till 8 gånger högre hastighet framgår, går det inte att bedöma kostnaden eller räkna med den maximala hastighetsökningen enbart utifrån tillkännagivandet.