I ricercatori hanno presentato MA‑Bench, un benchmark che misura la capacità di un modello linguistico di elaborare un piano operativo a partire da una serie di documenti contraddittori. Il test comprende dieci scenari creati da esperti, ciascuno con dieci-dodici documenti sintetici e 1,257 requisiti pass/fail redatti da pianificatori. Un modello di ragionamento usato come valutatore assegna un punteggio ai resoconti generati dai modelli, con un livello di coerenza paragonabile a quello di un gruppo di quattro pianificatori (Fleiss κ ≈ 0.42). Su venti modelli open-weight e all’avanguardia, il migliore ha ottenuto il 62% di risposte corrette secondo i criteri di valutazione.
Perché conta
Il benchmark mostra che gli attuali modelli linguistici non colgono ancora molte delle valutazioni di pianificazione che richiedono inferenze complesse, limitandone l’impiego nell’analisi di missioni reali.
