Oossa

مدل‌ها

مدل‌های تازه هوش مصنوعی: توانایی‌ها، دسترسی و محدودیت‌ها.

مقایسه مدل‌های هوش مصنوعی

بررسی روزانه

نتایج را در یک مجموعه‌آزمون LiveBench مقایسه کنید. ستون اول میانگین دسته‌ها با وزن‌های LiveBench است؛ نتیجهٔ هر دسته نیز جداگانه نمایش داده می‌شود. این‌ها امتیازهای بنچمارک هستند، نه یک رتبه‌بندی کلی.

مرتب‌سازی بر اساس آزمون

LiveBench · نسخه مجموعه آزمون ۱۵ آبان ۱۴۰۵آخرین بررسی 35 تنظیم‌های آزموده‌شده

LiveBench · امتیاز کلی · /100
#مدل و تنظیمات
1۸۴٫۹۸۲٫۹۸۸٫۸۷۹٫۲۸۶٫۹۸۱٫۵۹۴٫۵۸۵٫۱‎$۸٫۰۰ / ‎$۴۰٫۰۰‎$۲۴٫۰۰ برای ۱٬۰۰۰ پاسخ
2۸۴٫۴۷۵٫۶۹۲٫۷۸۷٫۵۹۱٫۳۸۳٫۰۹۰٫۶۸۰٫۰‎$۱۰٫۰۰ / ‎$۵۰٫۰۰‎$۳۰٫۰۰ برای ۱٬۰۰۰ پاسخ
3۸۴٫۰۷۴٫۲۹۱٫۷۸۹٫۷۸۹٫۸۸۰٫۳۸۸٫۵۸۱٫۶‎$۱۰٫۰۰ / ‎$۵۰٫۰۰‎$۳۰٫۰۰ برای ۱٬۰۰۰ پاسخ
4۸۳٫۵۷۲٫۷۹۰٫۶۹۱٫۰۸۰٫۰۸۶٫۵۹۲٫۵۸۰٫۲‎$۲٫۰۰ / ‎$۱۰٫۰۰‎$۶٫۰۰ برای ۱٬۰۰۰ پاسخ
5۸۳٫۴۷۲٫۸۹۲٫۲۸۷٫۱۸۸٫۴۸۰٫۳۸۸٫۹۸۳٫۳‎$۴٫۰۰ / ‎$۲۰٫۰۰‎$۱۲٫۰۰ برای ۱٬۰۰۰ پاسخ

برای دیدن همهٔ ستون‌های آزمون، به‌صورت افقی پیمایش کنید.

مشاهده همه مدل‌ها →
آزمون‌ها و روش‌شناسی

یک منبع آزمون: LiveBench. ستون‌ها بخش‌هایی از همین منبع‌اند، نه بنچمارک‌های مستقل. امتیازها در مقیاس اصلی ۰ تا ۱۰۰ هستند. برای تعیین جایگاه، ستون موردنظر را انتخاب کنید؛ خط تیره یعنی داده‌ای موجود نیست.

هر تنظیم دقیق مدل جداگانه نگه داشته می‌شود. محاسبهٔ میانگین یک دسته به نتیجهٔ همهٔ وظایف آن دسته نیاز دارد؛ میانگین کل نیز به همهٔ دسته‌ها نیاز دارد. وزن وظایف در هر دسته برابر است؛ دسته‌ها در میانگین کل همان‌طور وزن‌دهی می‌شوند که LiveBench در امتیاز کلی خود وزن می‌دهد. نتایج ناموجود هرگز صفر محسوب نمی‌شوند. جایگاه‌ها بر اساس مقادیر گردنشدهٔ ستون انتخابی و با جایگاه مشترک برای امتیازهای برابر تعیین می‌شوند؛ جست‌وجو جایگاه در آزمون کامل را حفظ می‌کند. امتیازهای قدیمی در تعیین جایگاه نقشی ندارند. اختلاف در ارقام اعشاریِ نمایش‌داده‌شده به‌تنهایی نشان‌دهندهٔ تفاوت معنادار نیست. این نما فقط یک مجموعه‌آزمون را پوشش می‌دهد، نه همهٔ مدل‌های فعلی یا همهٔ انواع توانایی را.

تاریخ مجموعه، نسخه آزمون را مشخص می‌کند. LiveBench در همان نسخه همچنان مدل‌های جدید اضافه می‌کند و نتایج را به‌روزرسانی می‌کند؛ تاریخ بررسی نشان می‌دهد داده‌های زنده آن را چه زمانی دریافت کرده‌ایم.

LiveBench · منبع ↗آزمون‌های بیشتر و نتایج تاریخی →

اخبار هوش مصنوعی به زبان ساده

تازه‌ترین اخبار مدل‌ها

دیروز

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.

پنجشنبه ۲۱ آبان