Advanced Prompt Optimization de Amazon Bedrock ahora incluye una opción para acortar prompts. Al activarla, el servicio intenta generar un prompt más breve que obtenga en la evaluación personalizada una puntuación igual o superior a la del original. Si la versión acortada es más larga o obtiene una puntuación más baja, se conserva el prompt original. La función es compatible con cualquier modelo de Bedrock y cualquier método de evaluación, y muestra una proporción de compresión en los resultados del trabajo.
Por qué importa
Los desarrolladores pueden reducir el costo de los tokens de entrada y la latencia en aplicaciones a gran escala sin sacrificar la calidad de los prompts.
