शोधकर्ताओं ने MA‑Bench जारी किया है। यह बेंचमार्क परखता है कि कोई भाषा मॉडल परस्पर विरोधी दस्तावेज़ों के आधार पर परिचालन योजना कितनी अच्छी तरह बना सकता है। इस परीक्षण में विशेषज्ञों द्वारा तैयार किए गए दस परिदृश्य शामिल हैं। हर परिदृश्य में दस से बारह सिंथेटिक दस्तावेज़ और योजनाकारों द्वारा लिखी गईं 1,257 सही/गलत आवश्यकताएं हैं। तर्क-क्षमता वाले मॉडल का उपयोग करके तैयार किए गए मूल्यांकनकर्ता, मॉडल के बनाए ब्रीफ को जांचते हैं। उनका आकलन चार योजनाकारों के पैनल के आकलन से मेल खाता है (Fleiss κ ≈ 0.42)। अत्याधुनिक और ओपन-वेट, कुल बीस मॉडलों में सर्वश्रेष्ठ ने मूल्यांकन मानदंडों पर 62% सही अंक हासिल किए।
यह क्यों मायने रखता है
इससे पता चलता है कि मौजूदा भाषा मॉडल में अनुमान लगाकर योजना बनाने से जुड़े कई फैसलों में अब भी चूक होती है, जिससे वास्तविक मिशन विश्लेषण में उनका इस्तेमाल सीमित हो जाता है।
