نتایج آزمون مدل‌ها

کلی

نتایج را در یک مجموعه‌آزمون LiveBench مقایسه کنید. ستون اول میانگین با وزن برابرِ دسته‌هاست؛ نتیجهٔ هر دسته نیز جداگانه نمایش داده می‌شود. این‌ها امتیازهای بنچمارک هستند، نه یک رتبه‌بندی کلی.

مرتب‌سازی بر اساس آزمون

LiveBench · نسخه مجموعه آزمون ۲۲ مهر ۱۴۰۵آخرین بررسی ۳۰ مهر ۱۴۰۵49 تنظیم‌های آزموده‌شدهبرای مرتب‌سازی روی عنوان یک ستون کلیک کنید.

LiveBench · امتیاز کلی · /100
#
1	۸۸٫۰	۸۰٫۸	۹۱٫۷	۹۷٫۷	۱۰۰٫۰	۸۰٫۳	۸۲٫۰	۸۳٫۴
2	۸۶٫۵	۸۵٫۰	۹۲٫۲	۹۶٫۳	۸۰٫۰	۸۰٫۳	۸۵٫۰	۸۶٫۹
3	۸۶٫۱	۸۲٫۴	۹۲٫۷	۹۳٫۷	۸۴٫۰	۸۳٫۰	۸۵٫۲	۸۲٫۰
4	۸۵٫۴	۷۳٫۰	۹۲٫۶	۹۶٫۰	۸۸٫۰	۸۲٫۷	۸۳٫۵	۸۲٫۱
5	۸۴٫۱	۶۹٫۹	۹۵٫۱	۸۹٫۷	۹۲٫۰	۸۵٫۲	۸۳٫۱	۷۳٫۷
6	۸۳٫۶	۵۳٫۲	۸۹٫۷	۹۸٫۳	۹۲٫۰	۸۰٫۵	۸۶٫۹	۸۴٫۷
7	۸۲٫۵	۷۸٫۸	۹۱٫۶	۹۴٫۷	۸۴٫۰	۵۹٫۵	۸۳٫۶	۸۵٫۰
8	۸۲٫۱	۶۲٫۱	۹۱٫۲	۹۰٫۸	۸۴٫۰	۷۴٫۶	۸۸٫۹	۸۳٫۰
9	۸۱٫۹	۶۶٫۹	۸۸٫۷	۹۳٫۱	۹۲٫۰	۸۱٫۲	۶۹٫۳	۸۲٫۲
10	۷۹٫۲	۵۰٫۹	۸۹٫۱	۹۶٫۰	۷۶٫۰	۷۹٫۵	۷۹٫۵	۸۳٫۴
11	۷۸٫۱	۵۳٫۲	۹۰٫۶	۸۶٫۲	۷۲٫۰	۸۱٫۶	۸۸٫۰	۷۵٫۱
12	۷۸٫۰	۴۰٫۱	۸۶٫۷	۹۰٫۲	۸۴٫۰	۷۹٫۳	۸۶٫۸	۷۹٫۲
13	۷۶٫۸	۴۸٫۳	۸۹٫۲	۷۷٫۳	۹۶٫۰	۶۶٫۰	۸۱٫۸	۷۸٫۸
14	۷۶٫۳	۴۸٫۵	۹۱٫۷	۸۹٫۷	۸۸٫۰	۷۹٫۸	۵۴٫۵	۸۱٫۶
15	۷۵٫۶	۵۷٫۶	۸۲٫۴	۹۱٫۴	۸۰٫۰	۵۳٫۱	۸۱٫۹	۸۳٫۱
16	۷۵٫۰	۴۸٫۴	۹۰٫۶	۸۶٫۲	۸۴٫۰	۷۹٫۳	۶۰٫۴	۷۶٫۰
17	۷۴٫۹	۴۰٫۷	۹۱٫۲	۸۹٫۱	۶۴٫۰	۷۵٫۳	۸۴٫۵	۷۹٫۸
18	۷۴٫۹	۴۷٫۵	۷۹٫۶	۸۱٫۵	۸۸٫۰	۷۲٫۳	۷۶٫۷	۷۸٫۵
19	۷۴٫۸	۴۰٫۴	۸۹٫۷	۹۰٫۲	۸۰٫۰	۷۹٫۶	۶۸٫۶	۷۴٫۸
20	۷۴٫۱	۵۰٫۱	۸۲٫۷	۸۴٫۵	۶۰٫۰	۷۶٫۹	۸۶٫۴	۷۸٫۰

برای دیدن همهٔ ستون‌های آزمون، به‌صورت افقی پیمایش کنید.

ستون‌ها چه چیزی را می‌سنجند

وظایف عاملی طولانی:: کار طولانی روی کد و برنامه در گام‌های بسیار
استدلال:: معماهای منطقی و حل مسئله
کدنویسی:: نوشتن و تکمیل کد
استفاده از مرورگر:: کارهای چندمرحله‌ای در برنامه‌های وب واقعی
تحلیل داده:: پرسش‌هایی درباره جدول‌ها و داده‌ها
پژوهش:: گزارش‌های پژوهشی باز
طراحی:: چیدمان و طراحی اسناد و اسلایدها

آزمون‌ها و روش‌شناسی

یک منبع آزمون: LiveBench. ستون‌ها بخش‌هایی از همین منبع‌اند، نه بنچمارک‌های مستقل. امتیازها در مقیاس اصلی ۰ تا ۱۰۰ هستند. برای تعیین جایگاه، ستون موردنظر را انتخاب کنید؛ خط تیره یعنی داده‌ای موجود نیست.

هر تنظیم دقیق مدل جداگانه نگه داشته می‌شود. محاسبهٔ میانگین یک دسته به نتیجهٔ همهٔ وظایف آن دسته نیاز دارد؛ میانگین کل نیز به همهٔ دسته‌ها نیاز دارد. وزن وظایف در هر دسته برابر است و وزن دسته‌ها در میانگین کل نیز برابر در نظر گرفته می‌شود. نتایج ناموجود هرگز صفر محسوب نمی‌شوند. جایگاه‌ها بر اساس مقادیر گردنشدهٔ ستون انتخابی و با جایگاه مشترک برای امتیازهای برابر تعیین می‌شوند؛ جست‌وجو جایگاه در آزمون کامل را حفظ می‌کند. امتیازهای قدیمی در تعیین جایگاه نقشی ندارند. اختلاف در ارقام اعشاریِ نمایش‌داده‌شده به‌تنهایی نشان‌دهندهٔ تفاوت معنادار نیست. این نما فقط یک مجموعه‌آزمون را پوشش می‌دهد، نه همهٔ مدل‌های فعلی یا همهٔ انواع توانایی را.

تاریخ مجموعه، نسخه آزمون را مشخص می‌کند. LiveBench در همان نسخه همچنان مدل‌های جدید اضافه می‌کند و نتایج را به‌روزرسانی می‌کند؛ تاریخ بررسی نشان می‌دهد داده‌های زنده آن را چه زمانی دریافت کرده‌ایم.

LiveBench · منبع ↗آزمون‌های بیشتر و نتایج تاریخی →