أطلقت SemiAnalysis معيار GDPx، الذي يختبر وكلاء الذكاء الاصطناعي في مهام مهنية محاكية، بدلًا من أسئلة يتضمن موجّهها كل السياق اللازم. وتغطي المهام الـ206 11 مجالًا، منها تصميم الرقائق والأحياء والتداول الكمي والأمن السيبراني والقانون. ويمكن للوكلاء العمل حتى ثماني ساعات باستخدام برامج مهنية، والبحث في غرف بيانات تضم آلاف الملفات، أو التفاعل مع أنظمة مؤسسية محاكية.
أفادت SemiAnalysis بأن Claude Opus 5.5 سجّل أعلى نتيجة إجمالية، بلغت 12 بالمئة. وسجّل Gemini 4 Carbon نسبة 10.9 بالمئة، بتكلفة $16.29 لكل مهمة، أي نحو ثلث تكلفة Opus 5.5؛ فيما سجّل GPT-6 Astra نسبة 9.6 بالمئة. وفي الطرف الأدنى، سجّل GPT-6 Luna وDeepSeek 4.1 Flash نحو خمسة بالمئة، بتكلفة تقارب $1 لكل مهمة. وهذه نتائج SemiAnalysis، وليست تقييمًا مستقلًا.
تقيس النتائج نسبة المتطلبات الفردية التي استوفاها الوكلاء، بعد احتساب متوسطها عبر 11 مجالًا متساوية الوزن. وتقول SemiAnalysis إن المهمة لا تُحتسب مكتملة إلا إذا كانت جميع أجزائها صحيحة؛ ووفق هذا المعيار الأكثر صرامة، لم يكن أي نموذج ليكمل مهمة واحدة. وفي التمويل والقانون، لم يتمكن أي نموذج من حل المهام بالكامل. وتقول الشركة إن خطأً واحدًا في قيمة بجدول بيانات قد يجعل الناتج غير صالح للاستخدام عمليًا.
السلامة تغيّر ترتيب النماذج
يسلط المعيار الضوء أيضًا على إخفاقات تتجاوز انخفاض النتائج. ففي اختبارات المواءمة، خالف 98 بالمئة من أصل 200 محاولة في الأمن السيبراني قاعدة سلوكية واحدة على الأقل. وفي عيادة طبية محاكية، وقّع أحد النماذج ملاحظة سريرية باسم طبيب. وفي التداول الكمي، كان أداء 70 محاولة من أصل 111 أسوأ من الاستراتيجية المرجعية المقدمة.
عندما استبعدت SemiAnalysis الأمن السيبراني والأحياء والمواءمة — وهي المجالات التي قد تؤثر فيها مرشحات السلامة على الأداء — سجّل GPT-6 Astra نسبة 11.8 بالمئة وتقدّم على Opus 5.5. وفي الأمن السيبراني وحده، سجّل كل من GPT-6 Astra وGPT 6.1 Sol صفرًا، بينما سجّل Muse Wonder Full من Meta نسبة 35.2 بالمئة. وتُظهر هذه النتائج أن الترتيب قد يتغير بحسب المهام المشمولة.
للاختبار حدود
تأتي مهام GDPx من 14 شريكًا متخصصًا يبيعون أيضًا بيانات التدريب والتقييم لمختبرات الذكاء الاصطناعي. وتظل معظم المهام سرية، ما يصعّب على المختبرات التدريب خصيصًا للاختبار، لكن الجهات الخارجية لا تستطيع عادةً الاطلاع إلا على مثال واحد لكل شريك. وفي بعض المجالات، ومنها القانون وتصميم الأجهزة، تقيّم نماذج اللغة العمل وفق معايير محددة بدلًا من الاستعانة بخبراء بشريين.
وصف المطوّر Josh Purtell النتائج بأنها «ضجيج أكثر من كونها إشارة»، مشيرًا إلى أن كل نموذج يستخدم برنامج الوكيل الخاص بمزوّده — فمثلًا يعمل Opus عبر Claude Code — وأن بعض المجالات لا تضم سوى نحو 10 مهام. وقد تؤثر هذه الخيارات على المقارنات وتجعل نتائج المجالات الصغيرة متقلبة. وتقول SemiAnalysis إنها تعتزم تحديث GDPx كل ثلاثة إلى ستة أشهر.
لماذا يهم
بالنسبة إلى الشركات التي تدرس استخدام وكلاء الذكاء الاصطناعي في الأعمال المتخصصة، يقدم GDPx تحذيرًا من أن النماذج البارزة قد تخفق في إنجاز أجزاء كثيرة من المهام المعقدة، وأن إخفاقات السلامة قد تكون مهمة بقدر الدقة. لكن الترتيب لا يشكل مقارنة مباشرة ونزيهة تمامًا: فالوكلاء يستخدمون أدوات مختلفة بحسب مزوّديهم، كما يتعذر التحقق المستقل من جزء كبير من المعيار.
