SemiAnalysis از GDPx رونمایی کرده است؛ معیاری برای سنجش عامل‌های هوش مصنوعی در انجام کارهای حرفه‌ای شبیه‌سازی‌شده، نه پاسخ‌گویی به پرسش‌هایی که تمام اطلاعات لازم در متن آن‌ها آمده است. این آزمون ۲۰۶ وظیفه را در ۱۱ حوزه، از جمله طراحی تراشه، زیست‌شناسی، معاملات کمی، امنیت سایبری و حقوق، در بر می‌گیرد. عامل‌ها می‌توانند تا هشت ساعت با نرم‌افزارهای حرفه‌ای کار کنند، در اتاق‌های داده‌ای با هزاران فایل جست‌وجو کنند یا با سامانه‌های سازمانی شبیه‌سازی‌شده تعامل داشته باشند.
بر اساس گزارش SemiAnalysis، Claude Opus 5.5 با امتیاز ۱۲ درصد در مجموع بالاترین رتبه را کسب کرد. امتیاز Gemini 4 Carbon برابر با ۱۰.۹ درصد بود و هزینه هر وظیفه با آن $16.29 تمام شد؛ یعنی حدود یک‌سوم هزینه Opus 5.5. امتیاز GPT-6 Astra هم ۹.۶ درصد بود. در انتهای جدول، GPT-6 Luna و DeepSeek 4.1 Flash حدود پنج درصد گرفتند و هزینه هر وظیفه با آن‌ها نزدیک به $1 بود. این‌ها نتایج اعلام‌شده از سوی SemiAnalysis هستند، نه ارزیابی مستقل.
امتیازها سهم الزاماتی را می‌سنجند که عامل‌ها برآورده کرده‌اند؛ این سهم در ۱۱ حوزه با وزن برابر میانگین‌گیری شده است. SemiAnalysis می‌گوید یک وظیفه فقط زمانی کامل به حساب می‌آمد که همه بخش‌های آن درست انجام شده باشد؛ با این معیار سخت‌گیرانه‌تر، هیچ مدلی حتی یک وظیفه را هم کامل نمی‌کرد. هیچ مدلی نتوانست وظایف حوزه‌های مالی و حقوقی را به‌طور کامل حل کند. این شرکت می‌گوید حتی یک مقدار اشتباه در صفحه‌گسترده می‌تواند خروجی را در عمل غیرقابل‌استفاده کند.
ایمنی رتبه‌بندی‌ها را تغییر می‌دهد
این آزمون علاوه بر امتیازهای پایین، شکست‌های دیگری را هم نشان می‌دهد. در آزمایش‌های هم‌سویی، ۹۸ درصد از ۲۰۰ نوبت اجرای وظایف امنیت سایبری دست‌کم یکی از قواعد رفتاری را نقض کردند. در یک درمانگاه پزشکی شبیه‌سازی‌شده، یک مدل یادداشت بالینی را به نام پزشک امضا کرد. در معاملات کمی، ۷۰ مورد از ۱۱۱ اجرا عملکردی بدتر از راهبرد مرجع ارائه‌شده داشتند.
وقتی SemiAnalysis امنیت سایبری، زیست‌شناسی و هم‌سویی را کنار گذاشت—حوزه‌هایی که فیلترهای ایمنی می‌توانند بر عملکرد اثر بگذارند—امتیاز GPT-6 Astra به ۱۱.۸ درصد رسید و از Opus 5.5 پیشی گرفت. در حوزه امنیت سایبری به‌تنهایی، GPT-6 Astra و GPT 6.1 Sol امتیاز صفر گرفتند، در حالی که امتیاز Muse Wonder Full از Meta به ۳۵.۲ درصد رسید. این نتایج نشان می‌دهند که رتبه‌بندی‌ها بسته به وظایف انتخاب‌شده می‌توانند تغییر کنند.
آزمون محدودیت‌هایی دارد
وظایف GDPx را ۱۴ شریک متخصص تهیه کرده‌اند که داده‌های آموزشی و ارزیابی را هم به آزمایشگاه‌های هوش مصنوعی می‌فروشند. بیشتر وظایف محرمانه نگه داشته شده‌اند؛ این کار آموزش هدفمند مدل‌ها برای آزمون را دشوارتر می‌کند، اما معمولاً بیرونی‌ها فقط می‌توانند یک نمونه از هر شریک را ببینند. در بعضی حوزه‌ها، از جمله حقوق و طراحی سخت‌افزار، مدل‌های زبانی کار را بر اساس معیارهای امتیازدهی ارزیابی می‌کنند، نه کارشناسان انسانی.
Josh Purtell، توسعه‌دهنده، نتایج را «بیشتر نویز می‌دانم تا سیگنال» خواند و گفت هر مدل از نرم‌افزار عاملِ شرکت سازنده خود استفاده می‌کند—برای مثال Opus در Claude Code اجرا می‌شود—و بعضی حوزه‌ها فقط حدود ۱۰ وظیفه دارند. این انتخاب‌ها می‌توانند بر مقایسه‌ها اثر بگذارند و امتیاز حوزه‌های کوچک را بی‌ثبات کنند. SemiAnalysis می‌گوید قصد دارد GDPx را هر سه تا شش ماه به‌روزرسانی کند.
چرا مهم است
برای شرکت‌هایی که استفاده از عامل‌های هوش مصنوعی را در کارهای تخصصی بررسی می‌کنند، GDPx هشداری است که حتی مدل‌های شناخته‌شده هم ممکن است بخش‌های زیادی از وظایف پیچیده را درست انجام ندهند و شکست‌های ایمنی نیز به‌اندازه دقت اهمیت داشته باشند. بااین‌حال، رتبه‌بندی‌ها مقایسه‌ای مستقیم و بی‌طرفانه نیستند: عامل‌ها از ابزارهای متفاوت شرکت‌های سازنده استفاده می‌کنند و بخش زیادی از آزمون را نمی‌توان مستقلاً بررسی کرد.
