Advanced Prompt Optimization d’Amazon Bedrock propose désormais un mode facultatif de raccourcissement des prompts. Une fois activé, le service tente de créer un prompt plus court qui obtient, lors de votre évaluation personnalisée, un score au moins aussi bon que l’original. Si la version raccourcie est plus longue ou obtient un score inférieur, le prompt d’origine est conservé. La fonctionnalité est compatible avec tous les modèles disponibles sur Bedrock et toutes les méthodes d’évaluation. Les résultats du traitement indiquent également un taux de compression.
Pourquoi c'est important
Les développeurs peuvent réduire le coût des tokens d’entrée et la latence des applications à grande échelle, sans sacrifier la qualité des prompts.
