Amazon BedrockのAdvanced Prompt Optimizationに、任意で使えるプロンプト短縮モードが加わりました。有効にすると、カスタム評価で元のプロンプトと同等以上のスコアを得られる、より短いプロンプトの生成を試みます。短縮後のプロンプトが元より長くなる、またはスコアが下がる場合は、元のプロンプトが維持されます。この機能はBedrock上のすべてのモデルと、あらゆる評価方法に対応しており、ジョブの結果には圧縮率が表示されます。
なぜ重要か
大規模アプリケーションの開発者は、プロンプトの品質を損なわずに入力トークンのコストとレイテンシを抑えられます。