Advanced Prompt Optimization van Amazon Bedrock heeft nu een optionele functie om prompts in te korten. Als je deze inschakelt, probeert de dienst een kortere prompt te maken die bij jouw eigen evaluatie minstens zo goed scoort als het origineel. Is de ingekorte versie langer of scoort die lager, dan blijft de oorspronkelijke prompt behouden. De functie werkt met elk model op Bedrock en elke evaluatiemethode. De resultaten van de opdracht tonen ook een compressieverhouding.
Waarom het ertoe doet
Ontwikkelaars kunnen bij toepassingen op grote schaal de kosten van invoertokens en de latentie verlagen zonder in te leveren op de kwaliteit van prompts.
