AWS a annoncé que GPT‑6 Astra d’OpenAI est désormais disponible en mode UltraFast sur Amazon Bedrock. Cette nouvelle offre vise les usages où la vitesse est essentielle, comme les assistants de programmation en temps réel et les agents interactifs. Selon AWS, le mode peut être jusqu’à six fois plus rapide que l’API standard, avec un débit d’environ 300 tokens par seconde. Les utilisateurs peuvent l’activer depuis la console Bedrock ou via ses API, sous réserve de disponibilité régionale et de tarification.
Pourquoi c'est important
Les développeurs peuvent créer des fonctionnalités d’IA sensibles à la latence, comme des assistants de programmation en direct, qui répondent nettement plus vite.
