Des chercheurs ont publié MA‑Bench, un banc d’essai qui mesure la capacité d’un modèle de langage à élaborer un plan opérationnel à partir d’un ensemble de documents contradictoires. Le test comprend dix scénarios conçus par des experts, chacun accompagné de dix à douze documents synthétiques et de 1 257 critères de réussite ou d’échec rédigés par des planificateurs. Un modèle de raisonnement chargé de l’évaluation note les synthèses produites par les modèles, avec un degré de cohérence comparable à celui d’un panel de quatre planificateurs (κ de Fleiss ≈ 0,42). Sur vingt modèles de pointe et à poids ouverts, le meilleur a obtenu 62 % de réponses conformes aux critères.
Pourquoi c'est important
Ces résultats montrent que les modèles de langage actuels échouent encore à de nombreux jugements de planification exigeant des inférences, ce qui limite leur utilité pour l’analyse de missions dans le monde réel.
