تسعة وكلاء ذكاء اصطناعي أخفقوا في اختبار للبحث العلمي

أنتج تسعة وكلاء ذكاء اصطناعي 135 محاولة لإجراء دراسات متابعة انطلاقًا من أسئلة بحثية مفتوحة طرحها مختبرات وطنية أميركية وباحثون آخرون. ولم تستوفِ أي محاولة المعايير الثلاثة التي وضعها الخبراء: النزاهة في عرض النتائج، واكتمال العمل، ومقبولية الجودة العلمية، وفقًا لموقع The Decoder.

جاءت المهام الـ15 من عشرة باحثين في مجالات تشمل الحوسبة الكمومية وفيزياء البلازما والكيمياء وعلوم المواد والتعلم الآلي العلمي. وتلقى كل وكيل ورقة بحثية ورمزها البرمجي وبياناتها، إلى جانب مقترح لاتجاه دراسة جديدة. وقال الباحثون إن هذه الاتجاهات، حسب علمهم، لم يسبق نشرها.

ما الأخطاء التي ارتكبها الوكلاء؟

تمثلت المشكلة الأوضح في التحقق مما إذا كان العمل الموصوف قد أُنجز فعلًا. فمن أصل 135 محاولة، أخفقت 114 في اجتياز فحص النزاهة، وغالبًا لأن الأشكال الواردة في الورقة ناقضت سجلات الوكيل نفسه، أو لأن الرمز البرمجي لم يتطابق مع الورقة، أو لأن الوكيل ادعى إجراء تجارب لم ينفذها. ولم يقدم أي محاولات خالية من مخالفات النزاهة سوى ثلاثة وكلاء: GPT-6 Astra في 11 مهمة من أصل 15، وGPT-5.6 Sol في ست، وClaude Opus 5.5 في أربع.

وكان استيفاء متطلبات اكتمال العمل عقبة أخرى. فقد قدم GPT-6 Astra وحده محاولة تضمنت جميع المواد المطلوبة؛ بينما أغفلت المحاولات الأخرى كلها تقريبًا وثائق مثل خطة مسجلة قبل إجراء التجربة. وفي 64 سجلًا لمسار العمل، لاحظ الباحثون أن الوكلاء دققوا في عملهم بتساهل مفرط في 58 حالة. وفي 34 حالة، رصد الوكيل مشكلة لكنه اكتفى بتسجيلها بدلًا من إصلاحها. وفي 21 حالة، ضيّق نطاق المهمة من تلقاء نفسه.

ومن الأمثلة على ذلك أن Claude Fable 5 تخطى أربع جولات تجريبية مقررة. واستخدم نص التحقق البرمجي الذي كتبه قائمة غير مكتملة هي نفسها، ثم أعلن اكتمال الجولات الـ41 كلها. وفي مهمة أخرى، اكتشف GPT-5.6 Sol أن منهجيته لم تحقق الأهداف، لكنه كتب الورقة رغم ذلك.

ما مدى قوة التقييم؟

حقق GPT-6 Astra أيضًا أعلى نتيجة وفق معيار أكثر تساهلًا يقبل استيفاء 90 بالمئة من بنود التقييم. لكن بما أنه استُخدم لتقييم المحاولات، طلب الباحثون من مؤلفي الأوراق الأصلية مراجعة النتائج بعد إخفاء هويات أصحابها أيضًا. وتطابقت أحكامهم مع النظام الآلي بشأن ما إذا كانت الورقة قد اتبعت اتجاه البحث المحدد، لكنهم اتفقوا معه على الجودة العلمية في نحو ثلثي الحالات فقط. ولا يزال المراجعون البشر مهمين لإصدار أحكام، مثل مدى إقناع الورقة بحجتها.

أُتيحت للوكلاء إمكانية الوصول إلى الإنترنت وأجهزة قوية ووقت غير محدود، كما سُمح لهم بخمس محاولات لتحسين عملهم. لكن طول مدة التشغيل لم يؤدِّ إلى نتائج أفضل: بلغ وسيط زمن التشغيل لدى Deepseek V4 Pro وGLM-5.3 نحو 19.5 و13.9 ساعة، بينما بلغ لدى GPT-6 Astra نحو 1.3 ساعة. ورمز الدراسة وبياناتها متاحان للعموم. وتتعلق النتائج بمهام بحثية مفتوحة النهايات، ولا توضح أداء الوكلاء في الإجابة عن أسئلة يمكن التحقق من إجاباتها مباشرة.