A Otimização Avançada de Prompts do Amazon Bedrock agora inclui uma opção para encurtar prompts. Quando ativada, a ferramenta tenta gerar um prompt mais curto que obtenha uma pontuação igual ou superior à do original na avaliação personalizada. Se a versão reduzida ficar mais longa ou tiver uma pontuação menor, o prompt original é mantido. O recurso funciona com qualquer modelo do Bedrock e qualquer método de avaliação, e apresenta uma taxa de compressão nos resultados da tarefa.
Por que importa
Desenvolvedores podem reduzir os custos com tokens de entrada e a latência em aplicações de grande escala sem sacrificar a qualidade dos prompts.
