# MA-Bench、軍事計画タスクで言語モデルを評価

> 新たなMA‑Benchデータセットは、雑多な文書から作戦計画をまとめる能力を検証。最上位モデルの評価基準達成率は62%だった。

Oossa · 2026-10-15 · https://oossa.com/ja/ma-bench-evaluates-language-models-on-military-planning-tasks

研究者らは、矛盾する文書一式をもとに言語モデルが作戦計画を作成する能力を測るベンチマーク「MA‑Bench」を公開した。このテストには、専門家が作成した10のシナリオが含まれ、それぞれに10～12件の合成文書と、計画担当者が作成した1,257件の合否判定要件が用意されている。推論モデルを使った評価者がモデル生成のブリーフを採点したところ、評価結果は計画担当者4人のパネルと一貫していた（Fleissのκ ≈ 0.42）。最先端モデルとオープンウェイトモデル計20種を比較した結果、最高スコアは評価基準の62%を満たした。

## 事実

- 専門家が作成した要件1,257件を含む10のシナリオ
- 最上位モデルの正答率は62%

## なぜ重要か

現在の言語モデルは、推論を多く要する計画上の判断をまだ数多く誤ることが示されており、現実の任務分析への活用には限界がある。

## 出典と参考資料

1. [MA-Bench: Measuring Operational Planning in Language Models](https://arxiv.org/abs/2610.19138) – arXiv cs.LG, 2026-10-15

最終更新: 2026-10-15