# MA-Bench评测语言模型的军事规划能力

> MA‑Bench新数据集测试语言模型能否从杂乱文档中制定行动计划；表现最好的模型答对了62%的评分项。

Oossa · 2026-10-15 · https://oossa.com/zh/ma-bench-evaluates-language-models-on-military-planning-tasks

研究人员发布了MA‑Bench，这是一项用于评估语言模型能否根据一组相互矛盾的文档制定行动计划的基准测试。测试包含10个由专家设计的场景，每个场景有10至12份合成文档，以及由规划人员编写的1,257项通过／不通过标准。评审模型会为参测模型生成的简报打分，其评分与由4名规划人员组成的小组一致性相当（Fleiss κ ≈ 0.42）。在20款前沿模型和开放权重模型中，表现最好的一款按评分标准答对了62%。

## 事实

- 10个场景，包含1,257项专家编写的要求
- 表现最好的模型答对了62%

## 为什么重要

这表明，当前语言模型仍会在许多需要大量推理的规划判断上出错，限制了它们在真实任务分析中的应用。

## 来源与参考

1. [MA-Bench: Measuring Operational Planning in Language Models](https://arxiv.org/abs/2610.19138) – arXiv cs.LG, 2026-10-15

最后更新: 2026-10-15