Advanced Prompt Optimization di Amazon Bedrock ora include una modalità facoltativa per accorciare i prompt. Se attivata, la funzione cerca di generare un prompt più breve che ottenga nella valutazione personalizzata un punteggio almeno pari a quello dell’originale. Se la versione accorciata è più lunga o ottiene un punteggio inferiore, viene mantenuto il prompt originale. La funzione è compatibile con qualsiasi modello disponibile su Bedrock e con qualsiasi metodo di valutazione; nei risultati del processo mostra anche il rapporto di compressione.
Perché conta
Gli sviluppatori possono ridurre i costi dei token di input e la latenza nelle applicazioni su larga scala, senza sacrificare la qualità dei prompt.
