AWS اعلام کرد GPT‑6 Astra از OpenAI اکنون با حالت UltraFast در Amazon Bedrock در دسترس است. این سطح تازه برای کارهایی طراحی شده که سرعت در آنها اهمیت زیادی دارد؛ مانند دستیارهای کدنویسی بلادرنگ و عاملهای تعاملی. AWS میگوید این حالت میتواند تا شش برابر سریعتر از API استاندارد اجرا شود و حدود 300 توکن در ثانیه ارائه دهد. کاربران میتوانند با مراجعه به کنسول Bedrock یا استفاده از APIهای آن، این حالت را فعال کنند؛ البته دسترسی به آن به منطقه و قیمتگذاری بستگی دارد.
چرا مهم است
توسعهدهندگان میتوانند قابلیتهای هوش مصنوعی حساس به تأخیر، مانند ابزارهای کمک به کدنویسی زنده، بسازند که پاسخهایشان بهوضوح سریعتر ارائه میشود.
