AWS hat bekannt gegeben, dass GPT‑6 Astra von OpenAI jetzt mit dem UltraFast-Modus auf Amazon Bedrock verfügbar ist. Die neue Stufe richtet sich an Anwendungen, bei denen es auf hohe Geschwindigkeit ankommt, etwa Code-Assistenten in Echtzeit und interaktive Agenten. Laut AWS läuft der Modus bis zu sechsmal schneller als die Standard-API und erreicht etwa 300 Tokens pro Sekunde. Nutzer können ihn über die Bedrock-Konsole oder die APIs aktivieren; Verfügbarkeit und Preise hängen von der Region ab.
Warum es wichtig ist
Entwickler können KI-Funktionen mit hohen Anforderungen an die Latenz erstellen, etwa Live-Code-Assistenten, die spürbar schneller reagieren.
