Forskare har lanserat MA‑Bench, ett test som mäter språkmodellers förmåga att ta fram en operativ plan utifrån en samling motstridiga dokument. Testet omfattar tio scenarier utformade av experter. Varje scenario innehåller tio till tolv syntetiska dokument och 1 257 godkänd/underkänd-krav formulerade av planerare. En bedömare baserad på en resonemangsmodell betygsätter modellernas planeringsunderlag och ger resultat som stämmer överens med en panel bestående av fyra planerare (Fleiss κ ≈ 0,42). Av tjugo ledande och öppna modeller fick den bästa 62 procent rätt enligt bedömningskriterierna.
Varför det spelar roll
Resultatet visar att dagens språkmodeller fortfarande missar många planeringsbedömningar som kräver omfattande slutledning, vilket begränsar deras användning för verklig uppdragsanalys.
