研究者らは、矛盾する文書一式をもとに言語モデルが作戦計画を作成する能力を測るベンチマーク「MA‑Bench」を公開した。このテストには、専門家が作成した10のシナリオが含まれ、それぞれに10～12件の合成文書と、計画担当者が作成した1,257件の合否判定要件が用意されている。推論モデルを使った評価者がモデル生成のブリーフを採点したところ、評価結果は計画担当者4人のパネルと一貫していた（Fleissのκ ≈ 0.42）。最先端モデルとオープンウェイトモデル計20種を比較した結果、最高スコアは評価基準の62%を満たした。
なぜ重要か
現在の言語モデルは、推論を多く要する計画上の判断をまだ数多く誤ることが示されており、現実の任務分析への活用には限界がある。
