قدّم باحثون Taste-Bench، وهو اختبار يضم 502 سؤالًا لقياس قدرة نماذج الذكاء الاصطناعي على اختيار الاتجاه الأفضل أثناء مهمة برمجية أو بحثية، قبل أن تكشف الخطوات اللاحقة عن النتيجة. وفي اختبارات شملت 14 نموذجًا، حقق GPT-5.6 Sol أعلى نتيجة، مسجلًا 59.7%؛ ولم تُحتسب الإجابة صحيحة إلا إذا اختار النموذج الخيار الصحيح في كلا ترتيبَي الإجابات.
بلغ متوسط الدقة 62.3% عندما كانت المعلومة الدالة ظاهرة بالفعل، لكنه انخفض إلى 21% عندما لم تظهر إلا بعد وقت طويل. ودرّب الباحثون أيضًا نموذج Qwen3.6-27B لتقديم المشورة لوكيل منفصل: ففي 41 مهمة محجوبة عن التدريب من SWE-bench Pro، ارتفعت نسبة النجاح من 14.6% إلى 33.7%. ويقول الفريق إن الاختبار والشفرة متاحان للعامة.
لماذا يهم
بالنسبة إلى الفرق التي تستخدم وكلاء البرمجة، تشير النتائج إلى أن اجتياز الاختبارات في نهاية المهمة قد لا يبيّن ما إذا كان الوكيل يتخذ قرارات تفيد العمل لاحقًا؛ ولا يزال غير معلوم ما إذا كان Taste-Bench يتنبأ بالأداء في الاستخدامات اليومية.
