أصدر باحثون من Alibaba وعدة جامعات آسيوية اختبار Co‑Design Bench، الذي يطلب من وكلاء البرمجة تعديل تطبيقات ويب مستخدمة فعليًا استنادًا إلى طلبات تغيير حقيقية من المستخدمين. ويشمل الاختبار مدخلات متعددة الوسائط، مثل الصور والمقاطع الصوتية والفيديوهات والمستندات، بما يعكس طبيعة عمل المطورين. وجرت فيه مقارنة عشرة نماذج، من GPT‑6 Astra على غرار نماذج OpenAI إلى Claude Opus 5 وQwen 3.8‑Max.
حقق GPT‑6 Astra أفضل أداء، إذ استوفى في المتوسط نحو 70 % من متطلبات كل مهمة. ومع ذلك، لم ينتج تطبيقًا صحيحًا بالكامل إلا في 26.4 % من الحالات. وفي معظم المهام، أنجز الذكاء الاصطناعي الجزء الأكبر من العمل، لكنه ترك تفصيلًا واحدًا على الأقل من دون إتمام، ما يعني أن على شخص مراجعة الشيفرة وإصلاحها قبل إصدارها.
تُظهر اختبارات أقدم، مثل WebCompass‑edit، نتائج تكاد تكون مثالية للنماذج نفسها، لكن Co‑Design Bench يكشف فجوة تتجاوز 35 نقطة مئوية. ويقول الباحثون إن الاختبارات القديمة أصبحت سهلة أكثر من اللازم، لأن الوكلاء يستطيعون تشغيل شيفرتهم وفحصها وإصلاحها ضمن حلقة مغلقة، ما يضخم النتائج.
تراجع الأداء بشدة عندما جمعت المهمة الواحدة ثلاثة أو أربعة أنواع مختلفة من التعديلات، مثل التخطيط والتصميم والتفاعل والمحتوى. وواجهت جميع النماذج صعوبة في هذه الظروف، بما فيها Qwen 3.8‑27B الأصغر حجمًا. وحتى زيادة القدرة الحاسوبية لم تساعد كثيرًا؛ إذ استخدم GLM‑5.2 ستة أضعاف عدد الرموز التي استخدمها GPT‑6 Astra في التعديلات البسيطة، ومع ذلك حقق نتيجة أسوأ.
ما الذي يكشفه الاختبار؟
تسلط الدراسة الضوء على أن بيئة تشغيل وكيل البرمجة—أي البرنامج الذي يزوّده بالشيفرة ويشغّل مخرجاته—قد تؤثر في النتائج بقدر تأثير النموذج نفسه. فقد حقق النموذج ذاته نتيجة 75 % في بيئة و56 % في أخرى عند إجراء تعديلات كبيرة. وينصح الباحثون الشركات بتقييم النموذج وبيئة تشغيله معًا قبل اعتماد أي أداة.
ويشير الباحثون أيضًا إلى بعض القيود: إذ تتضمن كل مهمة طلبًا واحدًا محددًا، لذلك لا يختبر التقييم الأسئلة اللاحقة، كما أن أنظمة الذكاء الاصطناعي التي تقيّم التطبيقات قد تخطئ. ووجد بحث سابق من METR أن معدلات قبول الشيفرات التي يولدها الذكاء الاصطناعي في الواقع كانت أقل بنحو 24 % من نتائجها في اختبارات شائعة مثل SWE‑bench Verified.
لماذا يهم
بالنسبة إلى المطورين الذين يفكرون في استخدام مساعدات البرمجة بالذكاء الاصطناعي، تعني النتائج أنهم سيظلون بحاجة إلى مراجعة معظم التعديلات وتصحيحها قبل إطلاق البرمجيات. وينبغي للشركات اختبار نموذج الذكاء الاصطناعي وبيئة دمجه معًا، بدلًا من الاعتماد على نتائج اختبارات معيارية قد تبالغ في تقدير أدائه في الواقع.
