# MA-Bench testet Sprachmodelle bei militärischer Planung

> Der neue MA‑Bench-Datensatz prüft, wie gut Sprachmodelle aus widersprüchlichen Dokumenten Einsatzpläne entwickeln. Das beste Modell erfüllte 62 % der Bewertungskriterien.

Oossa · 2026-10-15 · https://oossa.com/de/ma-bench-evaluates-language-models-on-military-planning-tasks

Forschende haben MA‑Bench vorgestellt, einen Benchmark, der misst, wie gut ein Sprachmodell aus einer Reihe widersprüchlicher Dokumente einen Einsatzplan erstellen kann. Der Test umfasst zehn von Fachleuten entwickelte Szenarien mit jeweils zehn bis zwölf synthetischen Dokumenten sowie 1,257 von Planern formulierten Anforderungen, die jeweils mit bestanden oder nicht bestanden bewertet werden. Ein Modell zur Beurteilung von Schlussfolgerungen benotet die vom getesteten Modell erstellten Kurzberichte und kommt dabei auf eine ähnliche Übereinstimmung wie ein Gremium aus vier Planern (Fleiss κ ≈ 0.42). Unter zwanzig führenden Modellen und Modellen mit offenen Gewichten erzielte das beste 62 % der Bewertungspunkte.

## Die Fakten

- 10 Szenarien mit 1,257 von Fachleuten formulierten Anforderungen
- Das beste Modell erreichte 62 % richtige Antworten

## Warum es wichtig ist

Der Benchmark zeigt, dass heutige Sprachmodelle bei vielen planungsrelevanten Aufgaben, die komplexe Schlussfolgerungen erfordern, noch häufig scheitern. Das schränkt ihren Einsatz bei der Analyse realer Missionen ein.

## Quellen und Referenzen

1. [MA-Bench: Measuring Operational Planning in Language Models](https://arxiv.org/abs/2610.19138) – arXiv cs.LG, 2026-10-15

Zuletzt aktualisiert: 2026-10-15