Forschende haben MA‑Bench vorgestellt, einen Benchmark, der misst, wie gut ein Sprachmodell aus einer Reihe widersprüchlicher Dokumente einen Einsatzplan erstellen kann. Der Test umfasst zehn von Fachleuten entwickelte Szenarien mit jeweils zehn bis zwölf synthetischen Dokumenten sowie 1,257 von Planern formulierten Anforderungen, die jeweils mit bestanden oder nicht bestanden bewertet werden. Ein Modell zur Beurteilung von Schlussfolgerungen benotet die vom getesteten Modell erstellten Kurzberichte und kommt dabei auf eine ähnliche Übereinstimmung wie ein Gremium aus vier Planern (Fleiss κ ≈ 0.42). Unter zwanzig führenden Modellen und Modellen mit offenen Gewichten erzielte das beste 62 % der Bewertungspunkte.
Warum es wichtig ist
Der Benchmark zeigt, dass heutige Sprachmodelle bei vielen planungsrelevanten Aufgaben, die komplexe Schlussfolgerungen erfordern, noch häufig scheitern. Das schränkt ihren Einsatz bei der Analyse realer Missionen ein.
