Исследователи представили MA‑Bench — тест для оценки того, насколько хорошо языковая модель может составить оперативный план на основе набора противоречивых документов. В тест входят десять сценариев, подготовленных экспертами. Для каждого предусмотрено от десяти до двенадцати синтетических документов и 1,257 требований с оценкой «выполнено/не выполнено», составленных военными планировщиками. Краткие планы, созданные моделями, оценивает модель-судья с рассуждениями; её оценки согласуются с выводами комиссии из четырёх планировщиков (Fleiss κ ≈ 0.42). Среди двадцати передовых моделей и моделей с открытыми весами лучший результат составил 62% выполненных пунктов критериев.
Почему это важно
Результаты показывают, что современные языковые модели по-прежнему упускают многие важные выводы, необходимые для планирования, что ограничивает их применение в анализе реальных военных операций.
