# MA-Bench évalue les modèles de langage sur la planification militaire

> Le nouveau jeu de données MA‑Bench mesure la capacité des modèles de langage à transformer des documents désordonnés en plans opérationnels. Le meilleur modèle a satisfait à 62 % des critères.

Oossa · 2026-10-15 · https://oossa.com/fr/ma-bench-evaluates-language-models-on-military-planning-tasks

Des chercheurs ont publié MA‑Bench, un banc d’essai qui mesure la capacité d’un modèle de langage à élaborer un plan opérationnel à partir d’un ensemble de documents contradictoires. Le test comprend dix scénarios conçus par des experts, chacun accompagné de dix à douze documents synthétiques et de 1 257 critères de réussite ou d’échec rédigés par des planificateurs. Un modèle de raisonnement chargé de l’évaluation note les synthèses produites par les modèles, avec un degré de cohérence comparable à celui d’un panel de quatre planificateurs (κ de Fleiss ≈ 0,42). Sur vingt modèles de pointe et à poids ouverts, le meilleur a obtenu 62 % de réponses conformes aux critères.

## Les faits

- 10 scénarios comprenant 1 257 critères rédigés par des experts
- Le meilleur modèle a obtenu 62 % de réponses conformes

## Pourquoi c'est important

Ces résultats montrent que les modèles de langage actuels échouent encore à de nombreux jugements de planification exigeant des inférences, ce qui limite leur utilité pour l’analyse de missions dans le monde réel.

## Sources et références

1. [MA-Bench: Measuring Operational Planning in Language Models](https://arxiv.org/abs/2610.19138) – arXiv cs.LG, 2026-10-15

Dernière mise à jour: 2026-10-15