MA-Bench评测语言模型的军事规划能力

研究人员发布了MA‑Bench，这是一项用于评估语言模型能否根据一组相互矛盾的文档制定行动计划的基准测试。测试包含10个由专家设计的场景，每个场景有10至12份合成文档，以及由规划人员编写的1,257项通过／不通过标准。评审模型会为参测模型生成的简报打分，其评分与由4名规划人员组成的小组一致性相当（Fleiss κ ≈ 0.42）。在20款前沿模型和开放权重模型中，表现最好的一款按评分标准答对了62%。