أطلقت Replit معيار ViBench 2.0 لاختبار قدرة وكلاء البرمجة بالذكاء الاصطناعي على بناء منتج برمجي من الصفر وإبقائه عاملًا مع إضافة ميزات جديدة. وعلى خلاف اختبارات البرمجة التي تسند إلى الوكيل مهمة محددة ضمن قاعدة برمجية قائمة، يبدأ ViBench بمشروع فارغ ويطلب بناء منتجات تحاكي أدوات مثل Uber وGitHub وGoogle Docs.
يضم المعيار 17 منتجًا و241 طلبًا لإضافة ميزات و544 خطة اختبار. وفي النتائج الرسمية التي أجراها شريك Replit، Fireworks، اجتازت النماذج المتصدرة—GPT-6.1 Sol وGPT-6 Astra وOpus 5.5—جميع خطط الاختبار في 65% و60% و49% من عمليات البناء، على التوالي. ولا تُحتسب عملية البناء ناجحة إلا إذا اجتازت جميع الخطط الخاصة بذلك المنتج.
آلية عمل ViBench
يبني الوكيل أولًا منتجًا انطلاقًا من وصف موجز، ثم يضيف إلى شفرته ما يصل إلى 18 ميزة. وقد تكشف هذه العملية مشكلات لا تظهر في مهمة برمجية لمرة واحدة؛ فالقرارات المبكرة المتعلقة بالبيانات أو بنية البرنامج قد تجعل تنفيذ الطلبات اللاحقة أصعب. وتشمل الاختبارات تفاصيل مثل احتساب أجرة الرحلة المشتركة بدقة حتى آخر سنت، ومنع تكرار المبالغ المستردة، وضمان ألا يستبدل محرر قديم تعديلًا أحدث أجراه أحد أعضاء الفريق.
في النهاية، يستخدم وكيل تقييم متصفحًا حقيقيًا لتنفيذ كل خطة اختبار. وتقول Replit إنها اختارت Opus 5.5 للتقييم بعدما ارتكب أقل عدد من الأخطاء بين النماذج التي اختُبرت. وفي فحص شمل 34 خطأ أُدخلت عمدًا، لم ينجح المقيّم قط في اجتياز خطة كان أحد الأخطاء ظاهرًا فيها؛ وأكد GPT-6.1 Sol صحة 99.2% من أصل 477 حالة اجتياز راجعها.
تتوفر ثمانية منتجات، بما في ذلك طلباتها وخطط اختبارها، علنًا على GitHub، فيما تحتفظ Replit بالمنتجات التسعة الأخرى. وتقول الشركة إن بالإمكان إعادة تشغيل الاختبارات بأمر واحد باستخدام الإصدار v2.0.6 وإعداد الاختبار القائم على OpenHands.
ما الذي تكشفه النتائج؟
استندت المقارنة الرسمية إلى أربع عمليات بناء لكل منتج ولكل نموذج، باستخدام إطار الاختبار والإعدادات نفسيهما: مستوى جهد متوسط ودرجة حرارة 1.0. اجتاز DeepSeek V4.1 Flash نسبة 77% من خطط الاختبار، بتكلفة تقارب $2.50 لكل عملية بناء، لكن لم ينجح أي نموذج مفتوح الأوزان في اجتياز جميع الخطط ضمن عملية بناء كاملة. وبلغت تكلفة GPT-6.1 Sol نحو $12 لكل عملية بناء، مقابل نحو $90 لـGPT-6 Astra. واستغرق Opus 5.5 نحو 70 دقيقة في المتوسط لكل عملية بناء، أي أسرع بنحو 2.5 مرة من Sol.
غالبًا ما نفذت النماذج المتصدرة معظم الاختبارات الفردية، لكنها أخفقت مع ذلك في إكمال عملية بناء كاملة. وتقول Replit إن ما يقارب ثلاثة أرباع عمليات البناء التي أخفقت فيها هذه النماذج تعطلت عند تفاعل الميزات بعضها مع بعض. ومن الأمثلة على ذلك أن تؤثر خاصية التراجع في تعديلات أحد أعضاء الفريق داخل أداة تصميم، أو ألا يُظهر طلب دمج مسودة تعارضًا في الدمج. ولا يقيّم المعيار التصميم المرئي، وتقول Replit إن مظهر عمليات البناء الجذاب لم يجعلها أكثر احتمالًا للاجتياز من التصاميم الأبسط.
لماذا يهم
بالنسبة إلى الفرق التي تدرس الاستعانة بوكلاء البرمجة بالذكاء الاصطناعي، يقدم ViBench دليلًا على أن اجتياز مهام برمجية منفردة لا يضمن استمرار عمل المنتج مع تراكم الميزات؛ إذ ارتبطت معظم إخفاقات النماذج المتصدرة بتفاعل الميزات بعضها مع بعض. وقد تساعد النتائج الفرق على تحديد هذا النوع من نقاط الضعف، لكنها لا تثبت كيف ستؤدي النماذج على برامج شركة بعينها أو ضمن بيئة التطوير الخاصة بها.
