Onderzoekers hebben MA‑Bench uitgebracht, een benchmark die meet hoe goed een taalmodel op basis van een reeks tegenstrijdige documenten een operationeel plan kan opstellen. De test omvat tien door experts opgestelde scenario’s, elk met tien tot twaalf synthetische documenten en 1,257 door planners opgestelde eisen waaraan wel of niet wordt voldaan. Een beoordelaar op basis van een redeneermodel beoordeelt de door de modellen gegenereerde plannen. De overeenstemming met een panel van vier planners is vergelijkbaar (Fleiss κ ≈ 0.42). Van twintig toonaangevende modellen en modellen met open gewichten behaalde het best scorende model 62% van de punten op de beoordelingscriteria.
Waarom het ertoe doet
De resultaten laten zien dat huidige taalmodellen nog veel beoordelingstaken rond planning missen waarbij complexe gevolgtrekkingen nodig zijn. Daardoor zijn ze beperkt inzetbaar voor analyses van echte missies.
