پژوهشگران MA‑Bench را منتشر کرده‌اند؛ بنچمارکی که توانایی مدل‌های زبانی را در تدوین برنامهٔ عملیاتی بر اساس مجموعه‌ای از اسناد متناقض می‌سنجد. این آزمون ده سناریوی طراحی‌شده به دست متخصصان را در بر می‌گیرد که هرکدام شامل ده تا دوازده سند مصنوعی و 1,257 معیار قبولی یا رد است که برنامه‌ریزان نوشته‌اند. یک مدل استدلال‌گر، گزارش‌های تولیدشده به دست مدل‌ها را ارزیابی می‌کند و نتایجش با نظر هیئتی متشکل از چهار برنامه‌ریز همخوانی دارد (Fleiss κ ≈ 0.42). از میان بیست مدل پیشرفته و مدل‌های با وزن‌های باز، مدل برتر در 62% موارد معیارها را درست برآورده کرد.
چرا مهم است
این بنچمارک نشان می‌دهد مدل‌های زبانی فعلی هنوز در بسیاری از قضاوت‌های برنامه‌ریزی که به استنباط پیچیده نیاز دارند، ضعف دارند؛ مسئله‌ای که کاربرد آن‌ها را در تحلیل مأموریت‌های واقعی محدود می‌کند.
