# MA-Bench सैन्य योजना बनाने में भाषा मॉडल को परखता है

> नया MA‑Bench डेटासेट जांचता है कि भाषा मॉडल उलझे हुए दस्तावेज़ों से परिचालन योजनाएं कितनी अच्छी तरह बना सकते हैं; शीर्ष मॉडल ने मूल्यांकन मानदंडों के 62% सवालों के सही जवाब दिए।

Oossa · 2026-10-15 · https://oossa.com/hi/ma-bench-evaluates-language-models-on-military-planning-tasks

शोधकर्ताओं ने MA‑Bench जारी किया है। यह बेंचमार्क परखता है कि कोई भाषा मॉडल परस्पर विरोधी दस्तावेज़ों के आधार पर परिचालन योजना कितनी अच्छी तरह बना सकता है। इस परीक्षण में विशेषज्ञों द्वारा तैयार किए गए दस परिदृश्य शामिल हैं। हर परिदृश्य में दस से बारह सिंथेटिक दस्तावेज़ और योजनाकारों द्वारा लिखी गईं 1,257 सही/गलत आवश्यकताएं हैं। तर्क-क्षमता वाले मॉडल का उपयोग करके तैयार किए गए मूल्यांकनकर्ता, मॉडल के बनाए ब्रीफ को जांचते हैं। उनका आकलन चार योजनाकारों के पैनल के आकलन से मेल खाता है (Fleiss κ ≈ 0.42)। अत्याधुनिक और ओपन-वेट, कुल बीस मॉडलों में सर्वश्रेष्ठ ने मूल्यांकन मानदंडों पर 62% सही अंक हासिल किए।

## तथ्य

- विशेषज्ञों द्वारा लिखी गईं 1,257 आवश्यकताओं वाले 10 परिदृश्य
- सर्वश्रेष्ठ मॉडल ने 62% सही अंक हासिल किए

## यह क्यों मायने रखता है

इससे पता चलता है कि मौजूदा भाषा मॉडल में अनुमान लगाकर योजना बनाने से जुड़े कई फैसलों में अब भी चूक होती है, जिससे वास्तविक मिशन विश्लेषण में उनका इस्तेमाल सीमित हो जाता है।

## स्रोत और संदर्भ

1. [MA-Bench: Measuring Operational Planning in Language Models](https://arxiv.org/abs/2610.19138) – arXiv cs.LG, 2026-10-15

अंतिम अपडेट: 2026-10-15