AWS, OpenAI’ın GPT‑6 Astra modelinin Amazon Bedrock’ta UltraFast moduyla kullanıma sunulduğunu duyurdu. Yeni katman, gerçek zamanlı kodlama asistanları ve etkileşimli ajanlar gibi hızın kritik olduğu iş yüklerini hedefliyor. AWS, bu modun standart API’den 6 kata kadar daha hızlı çalışabildiğini ve saniyede yaklaşık 300 token ürettiğini belirtiyor. Kullanıcılar, bölgesel kullanılabilirlik ve fiyatlandırma koşullarına bağlı olarak Bedrock konsolu veya API’leri üzerinden modu etkinleştirebilir.
Neden önemli
Geliştiriciler, canlı kod asistanları gibi gecikmeye duyarlı yapay zekâ özellikleri oluşturup çok daha hızlı yanıt vermelerini sağlayabilir.
