AWS heeft aangekondigd dat GPT‑6 Astra van OpenAI nu met de UltraFast-modus beschikbaar is op Amazon Bedrock. De nieuwe optie is bedoeld voor toepassingen waarbij snelheid cruciaal is, zoals realtime programmeerassistenten en interactieve agents. Volgens AWS kan de modus tot zes keer sneller werken dan de standaard-API, met ongeveer 300 tokens per seconde. Gebruikers kunnen de modus inschakelen via de Bedrock-console of de API’s, afhankelijk van regionale beschikbaarheid en prijzen.
Waarom het ertoe doet
Ontwikkelaars kunnen AI-functies bouwen die gevoelig zijn voor vertraging, zoals live programmeerhulpen, en die merkbaar sneller reageren.
