AWSは、OpenAIのGPT‑6 AstraがAmazon BedrockでUltraFastモードを利用できるようになったと発表した。この新しいプランは、リアルタイムのコーディングアシスタントや対話型エージェントなど、速度が重要なワークロードを対象としている。AWSによると、標準APIの最大6倍の速度で動作し、毎秒約300トークンを生成できる。ユーザーはBedrockのコンソールまたはAPIから有効にできるが、地域ごとの提供状況や料金が適用される。
なぜ重要か
開発者は、ライブのコード支援ツールなど、応答の速さが求められるAI機能を、体感できるほどすばやく応答するよう構築できる。