أصدر باحثون MA‑Bench، وهو معيار يقيس قدرة النموذج اللغوي على إعداد خطة عملياتية استنادًا إلى مجموعة من المستندات المتضاربة. يتضمن الاختبار عشرة سيناريوهات أعدّها خبراء، ويضم كل سيناريو من عشرة إلى اثني عشر مستندًا اصطناعيًا، إلى جانب 1,257 شرطًا بصيغة النجاح أو الإخفاق وضعها مخططون. ويقيّم محكّم قائم على نموذج استدلالي الموجزات التي تنشئها النماذج، وقد جاءت أحكامه متسقة مع أحكام لجنة من أربعة مخططين (Fleiss κ ≈ 0.42). ومن بين عشرين نموذجًا رائدًا ومفتوح الأوزان، حقق أفضلها 62% من الإجابات الصحيحة وفق معايير التقييم.
لماذا يهم
تُظهر النتائج أن النماذج اللغوية الحالية ما زالت تخفق في كثير من أحكام التخطيط التي تتطلب استدلالًا معمقًا، ما يحد من استخدامها في تحليل المهام على أرض الواقع.
