Advanced Prompt Optimization i Amazon Bedrock har nu ett valfritt läge som kortar promptar. När det aktiveras försöker tjänsten skapa en kortare prompt som får minst lika bra resultat som originalet i din anpassade utvärdering. Om den kortare versionen blir längre eller får ett sämre resultat behålls originalprompten. Funktionen fungerar med alla modeller i Bedrock och alla utvärderingsmetoder, och jobbresultaten visar en komprimeringsgrad.
Varför det spelar roll
Utvecklare kan sänka kostnaderna för inmatningstoken och minska fördröjningen i storskaliga tillämpningar utan att försämra promptkvaliteten.
