Amazon Bedrock’ın Advanced Prompt Optimization özelliğine artık isteğe bağlı bir istem kısaltma modu eklendi. Etkinleştirildiğinde hizmet, özel değerlendirmenizde özgün istem kadar iyi veya daha yüksek puan alan daha kısa bir istem oluşturmaya çalışıyor. Kısaltılmış sürüm daha uzunsa ya da daha düşük puan alıyorsa özgün istem korunuyor. Bu özellik Bedrock’taki tüm modellerle ve tüm değerlendirme yöntemleriyle çalışıyor; iş sonuçlarında bir sıkıştırma oranı da gösteriyor.
Neden önemli
Geliştiriciler, istem kalitesinden ödün vermeden büyük ölçekli uygulamalarda girdi token maliyetlerini ve gecikmeyi azaltabilir.
