# MA-Bench проверяет языковые модели на задачах военного планирования

> Новый набор MA‑Bench оценивает, насколько хорошо языковые модели составляют оперативные планы по противоречивым документам. Лучшая модель выполнила 62% пунктов критериев.

Oossa · 2026-10-15 · https://oossa.com/ru/ma-bench-evaluates-language-models-on-military-planning-tasks

Исследователи представили MA‑Bench — тест для оценки того, насколько хорошо языковая модель может составить оперативный план на основе набора противоречивых документов. В тест входят десять сценариев, подготовленных экспертами. Для каждого предусмотрено от десяти до двенадцати синтетических документов и 1,257 требований с оценкой «выполнено/не выполнено», составленных военными планировщиками. Краткие планы, созданные моделями, оценивает модель-судья с рассуждениями; её оценки согласуются с выводами комиссии из четырёх планировщиков (Fleiss κ ≈ 0.42). Среди двадцати передовых моделей и моделей с открытыми весами лучший результат составил 62% выполненных пунктов критериев.

## Факты

- 10 сценариев и 1,257 требований, составленных экспертами
- Лучшая модель выполнила 62% требований

## Почему это важно

Результаты показывают, что современные языковые модели по-прежнему упускают многие важные выводы, необходимые для планирования, что ограничивает их применение в анализе реальных военных операций.

## Источники и ссылки

1. [MA-Bench: Measuring Operational Planning in Language Models](https://arxiv.org/abs/2610.19138) – arXiv cs.LG, 2026-10-15

Обновлено: 2026-10-15