Amazon اعلام کرد که SageMaker JumpStart اکنون در SageMaker Studio یک جدول مقایسه مدلها دارد. این جدول آمار بیش از ۷۰ مدل زبانی بزرگ (LLM) را در کنار هم نمایش میدهد. کاربران میتوانند مدلها را بر اساس امتیاز کیفیت، تأخیر، توان عملیاتی یا هزینه اجرای مدل روی نوع نمونه دلخواه مرتب کنند. هدف این قابلیت جایگزین کردن روال قدیمیِ باز کردن کارتهای جداگانه مدلها و جستوجو میان نتایج آزمونهایی است که در شرایط متفاوت اندازهگیری شدهاند.
AWS همه مدلهای فهرستشده را با سه آزمون استدلال یکسان ــ BIG‑Bench Hard، GPQA Diamond و MMLU‑Pro ــ ارزیابی میکند و برای هر اجرا، پیکربندی سختافزاری یکسانی را به کار میگیرد. این سرویس علاوه بر امتیاز آزمونها، زمان تولید نخستین توکن، تعداد توکن در ثانیه (توان عملیاتی) و هزینه نمونه را برای پیکربندی پیشفرض استقرار در JumpStart اندازهگیری میکند. کاربران میتوانند بر اساس ارائهدهنده، نوع مجوز و قالب ورودی یا خروجی فیلتر کنند و حتی نمایهای متناسب با کاربرد، مانند «گفتوگو» یا «تولید کد»، انتخاب کنند. گزینه انتخاب هدف بهینهسازی به کاربران امکان میدهد پیکربندیای را ببینند که برای بار کاری مشخص آنها بهترین توازن را میان هزینه، تأخیر یا توان عملیاتی برقرار میکند.
چرا جدول مقایسه اکنون اهمیت دارد
پیش از انتشار این قابلیت، دانشمندان داده و توسعهدهندگان ناچار بودند اطلاعات را از کارتهای مدل، مقالههای منابع دیگر یا انجمنهای کاربران کنار هم بگذارند. این منابع اغلب از سختافزارها و اندازههای دستهای متفاوت یا حتی نسخههای مختلف معیارهای سنجش استفاده میکردند و مقایسه مستقیم را پرخطر میساختند. جدول مقایسه با فراهم کردن نمایی یکپارچه و تحت مدیریت AWS، بخش زیادی از حدسوگمان را از میان میبرد. این ابزار همچنین روند تصمیمگیری را برای تیمهایی که باید مدلی متناسب با بودجه یا محدودیت تأخیر انتخاب کنند سرعت میبخشد؛ بهویژه در صنایع تحت نظارت که پیشبینیپذیری هزینه اهمیت زیادی دارد.
این ابزار رایگان است و در همه مناطق تجاری AWS که SageMaker Studio در آنها در دسترس است کار میکند. برای خود جدول هزینهای دریافت نمیشود، اما کاربران همچنان باید هزینه منابع محاسباتیای را که واقعاً استفاده میکنند بپردازند.
چرا مهم است
برای یک تیم علوم داده، این جدول کاری زمانبرِ تحقیق را به جستوجویی سریع تبدیل میکند و کمک میکند بدون جستوجو میان گزارشهای پراکنده معیارهای سنجش، مدلی را انتخاب کنند که هم با اهداف عملکردی و هم با بودجهشان سازگار باشد. شرکتها حالا میتوانند پیش از انتخاب مدل، هزینههای ابری را با اطمینان بیشتری برآورد کنند و از هزینههای پیشبینینشده بکاهند. هنوز ارزیابی مستقلی از معیارهایی که AWS اجرا کرده منتشر نشده است؛ بنابراین بهتر است کاربران امتیازها را راهنمایی مفید بدانند، نه رتبهبندی قطعی.