جمنای ۴ کربن به کلاد نزدیک شد؛ با هزینه‌ای کمتر

جمنای ۴ کربنِ گوگل در ارزیابی GDPx به صدر جدول نرسید، اما با امتیازی نزدیک به کلاد اپوس ۵٫۵ و هزینه‌ای بسیار پایین‌تر، در سنجش عملکرد در برابر هزینه جایگاه چشمگیری گرفت. طبق نتایج این ارزیابی، هزینه‌ی متوسط اجرای هر وظیفه با اپوس حدود ۵۱ دلار بود؛ برای جمنای ۴ کربن این رقم کمی بیش از ۱۶ دلار گزارش شد. یعنی هزینه‌ی مدل گوگل در این آزمون به کمتر از یک‌سوم رقیب آنتروپیک می‌رسید.

GDPx شامل ۲۰۶ وظیفه در حوزه‌هایی مثل امور مالی، علم مواد، امنیت سایبری، مهندسی نرم‌افزار، حقوق و زیست‌شناسی است. بنابراین رتبه‌بندی فقط توانایی پاسخ‌گویی به پرسش‌های عمومی را نمی‌سنجد. بااین‌حال، ارقام هزینه و امتیاز مربوط به همین مجموعه‌ی آزمون‌اند و به‌تنهایی قیمت یا عملکرد مدل‌ها را در هر نوع استفاده‌ای نشان نمی‌دهند. جزئیات تنظیمات اجرای آزمون در متن گزارش نشده است.

با حذف سه حوزه، رتبه‌ها تغییر کردند

در نسخه‌ی دیگری که SemiAnalysis منتشر کرد، وظایف امنیت سایبری، زیست‌شناسی و هم‌ترازی هوش مصنوعی حذف شدند. در این رتبه‌بندی، GPT-6 Astra به رتبه‌ی نخست رسید و GPT 6.1 Sol و اپوس ۵٫۵ نیز بالاتر از جمنای ۴ کربن قرار گرفتند. پژوهشگران SemiAnalysis گفته‌اند این چیدمان با برداشت‌های ذهنی آنان از توانایی مدل‌ها هماهنگی بیشتری دارد.

این تغییر نشان می‌دهد نتیجه به حوزه‌هایی که آزمون پوشش می‌دهد وابسته است. گزارش می‌گوید محدودیت‌های ایمنی مدل‌های کلاد و GPT ممکن است مانع پاسخ‌گویی به بعضی وظایف حساس شوند؛ در نتیجه، امتیاز پایین‌تر همیشه به معنای توان فنی کمتر نیست و می‌تواند بازتاب محدودیت در پاسخ به درخواست‌های حساس هم باشد.

مقایسه با مدل پیشین گوگل نیز به نفع کربن است. جمنای ۴ آرگون در هر دو نسخه‌ی رتبه‌بندی جایگاه هشتم را داشت و هزینه‌ی آزمونی آن فقط اندکی کمتر از کربن بود. در بخش امنیت سایبری، هر دو مدل گوگل از مدل‌های OpenAI و Anthropic امتیاز بیشتری گرفتند، اما خانواده‌ی Muse متعلق به متا بالاتر از آن‌ها قرار گرفت. در مجموع، اپوس ۵٫۵ در ارزیابی اصلی بالاترین امتیاز را داشت؛ جمنای ۴ کربن ارزان‌تر بود و GPT-6 Astra با هزینه‌ی حدود ۵۴ دلار برای هر وظیفه، هم گران‌تر از آن دو بود و هم امتیاز پایین‌تری گرفت.