# MA-Bench, 언어 모델의 군사 작전 계획 능력 평가

> 새 MA‑Bench 데이터셋은 언어 모델이 복잡하고 상충하는 문서를 작전 계획으로 얼마나 잘 정리하는지 평가한다. 최고 성적을 거둔 모델도 평가 항목의 62%에만 답을 맞혔다.

Oossa · 2026-10-15 · https://oossa.com/ko/ma-bench-evaluates-language-models-on-military-planning-tasks

연구진은 상충하는 문서들을 바탕으로 작전 계획을 세우는 언어 모델의 능력을 측정하는 벤치마크 MA‑Bench를 공개했다. 이 테스트는 전문가가 만든 시나리오 10개로 구성되며, 시나리오마다 합성 문서 10~12개와 작전 기획자가 작성한 통과·실패 기준 1,257개가 포함된다. 추론 모델을 심사자로 활용해 모델이 작성한 브리프를 평가했으며, 그 결과는 작전 기획자 4명으로 구성된 평가단의 일치도와 비슷했다(Fleiss κ ≈ 0.42). 최첨단 모델과 오픈 웨이트 모델 20개를 평가한 결과, 최고 점수는 기준 항목의 62%를 맞힌 것이었다.

## 팩트

- 전문가가 작성한 기준 1,257개를 포함한 시나리오 10개
- 최고 성적을 거둔 모델의 정답률은 62%

## 왜 중요한가

현재 언어 모델은 추론이 많이 필요한 작전 계획 판단을 여전히 상당수 놓친다. 따라서 실제 임무 분석에 활용하는 데 한계가 있음을 보여준다.

## 출처 및 참고 자료

1. [MA-Bench: Measuring Operational Planning in Language Models](https://arxiv.org/abs/2610.19138) – arXiv cs.LG, 2026-10-15

최종 업데이트: 2026-10-15