# MA-Bench avalia modelos de linguagem em tarefas de planejamento militar

> O novo conjunto de dados MA‑Bench testa a capacidade dos modelos de linguagem de transformar documentos confusos em planos operacionais; o modelo mais bem avaliado acertou 62% dos critérios.

Oossa · 2026-10-15 · https://oossa.com/pt/ma-bench-evaluates-language-models-on-military-planning-tasks

Pesquisadores lançaram o MA‑Bench, um benchmark que mede a capacidade de um modelo de linguagem de elaborar um plano operacional com base em um conjunto de documentos contraditórios. O teste inclui dez cenários criados por especialistas, cada um com dez a doze documentos sintéticos e 1,257 requisitos de aprovação ou reprovação definidos por planejadores. Um modelo de raciocínio atua como avaliador dos relatórios gerados pelos modelos, com um nível de consistência equivalente ao de um painel de quatro planejadores (Fleiss κ ≈ 0.42). Entre vinte modelos avançados e de pesos abertos, o melhor acertou 62% dos critérios.

## Os fatos

- 10 cenários com 1,257 requisitos definidos por especialistas
- O melhor modelo acertou 62% dos critérios

## Por que importa

Os resultados mostram que os modelos de linguagem atuais ainda falham em muitos julgamentos de planejamento que exigem inferências complexas, o que limita seu uso na análise de missões reais.

## Fontes e referências

1. [MA-Bench: Measuring Operational Planning in Language Models](https://arxiv.org/abs/2610.19138) – arXiv cs.LG, 2026-10-15

Última atualização: 2026-10-15