Oossa

Amazon Bedrock 高级提示词优化新增可选精简功能

新设置可将提示词长度缩短最多 30%,同时保持或提高评估得分,从而降低 token 成本。

简讯作者: Oossa 发布日期: 1 分钟阅读

Amazon Bedrock 的高级提示词优化现已加入可选的提示词精简模式。启用后,该服务会尝试生成更短的提示词,并确保其在自定义评估中的得分不低于原提示词。如果精简后的版本更长或得分更低,系统就会保留原提示词。该功能适用于 Bedrock 上的任何模型和任何评估方法,作业结果还会显示压缩率。

为什么重要

开发者可以降低大规模应用的输入 token 成本和延迟,同时不牺牲提示词质量。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。