MA-Bench, 언어 모델의 군사 작전 계획 능력 평가

연구진은 상충하는 문서들을 바탕으로 작전 계획을 세우는 언어 모델의 능력을 측정하는 벤치마크 MA‑Bench를 공개했다. 이 테스트는 전문가가 만든 시나리오 10개로 구성되며, 시나리오마다 합성 문서 10~12개와 작전 기획자가 작성한 통과·실패 기준 1,257개가 포함된다. 추론 모델을 심사자로 활용해 모델이 작성한 브리프를 평가했으며, 그 결과는 작전 기획자 4명으로 구성된 평가단의 일치도와 비슷했다(Fleiss κ ≈ 0.42). 최첨단 모델과 오픈 웨이트 모델 20개를 평가한 결과, 최고 점수는 기준 항목의 62%를 맞힌 것이었다.