OpenAI hat sein GPT‑6-Modell um einen neuen Leistungsmodus namens Astra Ultrafast erweitert. Er läuft auf NVIDIA-Blackwell-Grafikchips und ist für Nutzer der Tarife ChatGPT Work und Codex bereits über die OpenAI API verfügbar. Laut OpenAI kann der Modus Tokens bis zu achtmal schneller erzeugen als die Astra-Standardeinstellung. Dadurch reagieren interaktive KI-Anwendungen spürbar schneller.
Warum Geschwindigkeit für Entwickler wichtig ist
Eine schnellere Token-Generierung verkürzt die Abläufe, wenn ein KI-Assistent Code schreibt, ein Tool aufruft, das Ergebnis prüft und den nächsten Schritt festlegt. Philippe Tillet, bei OpenAI für Inferenz zuständig, erklärt, dass die höhere Geschwindigkeit Agenten dabei hilft, Bearbeitungs-, Test- und Debugging-Zyklen schneller abzuschließen. Die geringere Latenz kann außerdem Kosten senken – besonders, wenn in einem einzelnen Arbeitsablauf viele Aufrufe anfallen.
Wie NVIDIA-Hardware den Leistungsgewinn ermöglicht
OpenAI führt den Leistungsgewinn auf NVIDIA zurück: Dessen „umfangreiche Investitionen in Tools und Dokumentation“ hätten es ermöglicht, Hochleistungskernels zu entwickeln, die die Blackwell-Architektur optimal nutzen. Außerdem setzt das Unternehmen eigene Modelle ein, um die auf den GPUs laufende Inferenzsoftware kontinuierlich zu verbessern. Die Leistung könnte sich daher auch nach dem Start noch steigern.
Warum es wichtig ist
Entwickler, die Tools zur Codegenerierung bauen, können von deutlich schnelleren Antworten profitieren und so Bearbeitungs-, Test- und Debugging-Zyklen verkürzen. Schnellere Abläufe verringern auch die Wartezeit für Nutzer von KI-Funktionen in Apps und verbessern damit das Nutzungserlebnis insgesamt. Wie stark die geringere Latenz die Kosten für Endnutzer senkt, bleibt abzuwarten.
