В Advanced Prompt Optimization от Amazon Bedrock появился необязательный режим сокращения промптов. Если его включить, сервис попытается создать более короткий промпт, который по результатам пользовательской оценки будет не хуже исходного. Если сокращённый вариант окажется длиннее или получит более низкую оценку, сохранится исходный промпт. Функция работает с любой моделью в Bedrock и любым методом оценки. В результатах задания также отображается коэффициент сжатия.
Почему это важно
Разработчики смогут снизить расходы на входные токены и уменьшить задержки в масштабных приложениях, не жертвуя качеством промптов.
