Pesquisadores apresentaram o BABA-Bench, um benchmark com 47 cenários interativos de defesa dos direitos dos pacientes, criados com base em casos desidentificados e analisados por defensores especializados. Os agentes precisam descobrir informações e coordenar ações com organizações como seguradoras, clínicas e farmácias. O benchmark verifica cada ação quanto à autorização, às evidências e às proibições.
Em 1.974 execuções de 14 modelos, 254 das 921 que alcançaram todos os resultados exigidos falharam em pelo menos uma verificação de procedimento. O Claude Opus 5 alcançou todos os resultados exigidos em 81,6% das execuções, mas passou em todas as verificações em 52,5%. Fornecer a dois modelos um caminho validado elevou bastante suas taxas de aprovação, sugerindo que encontrar um caminho válido era mais difícil do que segui-lo.
Por que importa
Para equipes que desenvolvem ferramentas de IA para ajudar pacientes a navegar pelo sistema de saúde, os resultados mostram que chegar ao resultado certo não basta: o agente também precisa respeitar autorizações e outras regras de procedimento. Ainda não foi estabelecido se esses resultados do benchmark permitem prever o desempenho em situações reais de atendimento.
