Amazon Bedrocks Advanced Prompt Optimization bietet jetzt einen optionalen Modus zur Prompt-Kürzung. Ist er aktiviert, versucht der Dienst, einen kürzeren Prompt zu erstellen, der bei einer benutzerdefinierten Evaluierung mindestens so gut abschneidet wie das Original. Ist die gekürzte Version länger oder fällt ihre Bewertung schlechter aus, bleibt der ursprüngliche Prompt erhalten. Die Funktion funktioniert mit jedem Modell auf Bedrock und jeder Evaluierungsmethode. In den Ergebnissen des Optimierungsauftrags wird außerdem ein Kompressionsverhältnis angezeigt.
Warum es wichtig ist
Entwickler können bei Anwendungen mit hohem Nutzungsvolumen die Kosten für Eingabetokens und die Latenz senken, ohne die Prompt-Qualität zu beeinträchtigen.
