OpenAI为GPT‑6模型新增了名为Astra Ultrafast的性能模式。该模式运行于NVIDIA Blackwell图形芯片,现已通过OpenAI API向ChatGPT Work和Codex套餐用户开放。OpenAI表示,与标准Astra模式相比,该模式的token生成速度最高可快8倍,让交互式AI应用响应更迅速。
速度为何对开发者很重要
更快的token生成速度可以缩短AI助手编写代码、调用工具、检查结果并决定下一步操作的整个循环。OpenAI推理业务负责人Philippe Tillet指出,速度提升有助于智能体更快完成编辑、测试和调试。加速还可降低延迟成本;在单个工作流中需要进行大量调用时,这一点尤其重要。
NVIDIA硬件如何带来性能提升
OpenAI将这一成果归功于NVIDIA在工具和文档方面的“大力投入”,这使OpenAI能够编写高性能内核,充分利用Blackwell架构。OpenAI还使用自家模型持续改进运行于GPU上的推理软件,因此上线后性能仍有望继续提升。
为什么重要
开发代码生成工具的开发者可以获得明显更快的响应,从而加快编辑、测试和调试的循环。更快的工作流也能缩短用户等待应用中AI功能响应的时间,提升整体体验。不过,延迟降低能为终端用户节省多少成本,还有待观察。