Amazon Bedrock 的高级提示词优化现已加入可选的提示词精简模式。启用后,该服务会尝试生成更短的提示词,并确保其在自定义评估中的得分不低于原提示词。如果精简后的版本更长或得分更低,系统就会保留原提示词。该功能适用于 Bedrock 上的任何模型和任何评估方法,作业结果还会显示压缩率。
为什么重要
开发者可以降低大规模应用的输入 token 成本和延迟,同时不牺牲提示词质量。
新设置可将提示词长度缩短最多 30%,同时保持或提高评估得分,从而降低 token 成本。
简讯作者: OossaOossa 发布日期: 1 分钟阅读
Amazon Bedrock 的高级提示词优化现已加入可选的提示词精简模式。启用后,该服务会尝试生成更短的提示词,并确保其在自定义评估中的得分不低于原提示词。如果精简后的版本更长或得分更低,系统就会保留原提示词。该功能适用于 Bedrock 上的任何模型和任何评估方法,作业结果还会显示压缩率。
开发者可以降低大规模应用的输入 token 成本和延迟,同时不牺牲提示词质量。
Oossa · 新闻简报
一周 AI,讲明白
每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。