Un grupo de investigadores presentó MA‑Bench, una prueba que mide la capacidad de un modelo de lenguaje para elaborar un plan operativo a partir de un conjunto de documentos contradictorios. La prueba incluye diez escenarios diseñados por expertos, cada uno con entre diez y doce documentos sintéticos y 1,257 requisitos de aprobado o reprobado redactados por planificadores. Un modelo de razonamiento evalúa los informes generados por los modelos y alcanza un grado de concordancia similar al de un panel de cuatro planificadores (κ de Fleiss ≈ 0.42). Entre veinte modelos punteros y de pesos abiertos, el mejor obtuvo un 62% de respuestas correctas según los criterios de evaluación.
Por qué importa
Demuestra que los modelos de lenguaje actuales todavía fallan en muchas decisiones de planificación que requieren inferencias complejas, lo que limita su uso para analizar misiones en el mundo real.
