Oossa

افزودن کوتاه‌سازی اختیاری پرامپت به Amazon Bedrock

تنظیم جدید می‌تواند طول پرامپت را تا 30% کاهش دهد و در عین حال امتیاز ارزیابی را حفظ کند یا بهبود دهد؛ در نتیجه هزینه توکن‌ها کمتر می‌شود.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

قابلیت Advanced Prompt Optimization در Amazon Bedrock اکنون حالت اختیاری کوتاه‌سازی پرامپت را هم دارد. با فعال‌کردن این حالت، سرویس می‌کوشد پرامپتی کوتاه‌تر تولید کند که در ارزیابی سفارشی شما دست‌کم به‌اندازه نسخه اصلی امتیاز بگیرد. اگر نسخه کوتاه‌شده طولانی‌تر باشد یا امتیاز کمتری بگیرد، پرامپت اصلی حفظ می‌شود. این قابلیت با هر مدلی در Bedrock و هر روش ارزیابی کار می‌کند و نسبت فشرده‌سازی را در نتایج کار نشان می‌دهد.

چرا مهم است

توسعه‌دهندگان می‌توانند بدون افت کیفیت پرامپت، هزینه توکن‌های ورودی و تأخیر را در برنامه‌های بزرگ‌مقیاس کاهش دهند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.