Oossa

OpenAI GPT‑6 Astra UltraFast 模式登陆 Amazon Bedrock

AWS现已推出GPT‑6 Astra的高级速度档位UltraFast,称其推理速度最高可达每秒300个token,是标准模式的6倍。

简讯OossaOossa 发布日期: 1 分钟阅读

AWS宣布,OpenAI的GPT‑6 Astra现已在Amazon Bedrock上提供UltraFast模式。这个新档位面向对速度要求较高的工作负载,例如实时编程助手和交互式智能体。AWS称,该模式的运行速度最高可达标准API的6倍,约为每秒300个token。用户可通过Bedrock控制台或API启用该模式,具体取决于地区是否开放及定价。

为什么重要

开发者可以打造对延迟敏感的AI功能,例如实时编程助手,让响应速度明显更快。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。