Pesquisadores lançaram o MA‑Bench, um benchmark que mede a capacidade de um modelo de linguagem de elaborar um plano operacional com base em um conjunto de documentos contraditórios. O teste inclui dez cenários criados por especialistas, cada um com dez a doze documentos sintéticos e 1,257 requisitos de aprovação ou reprovação definidos por planejadores. Um modelo de raciocínio atua como avaliador dos relatórios gerados pelos modelos, com um nível de consistência equivalente ao de um painel de quatro planejadores (Fleiss κ ≈ 0.42). Entre vinte modelos avançados e de pesos abertos, o melhor acertou 62% dos critérios.
Por que importa
Os resultados mostram que os modelos de linguagem atuais ainda falham em muitos julgamentos de planejamento que exigem inferências complexas, o que limita seu uso na análise de missões reais.
