# BABA-Bench testa se agentes de IA seguem as regras

> Pesquisadores avaliaram 14 modelos de IA em cenários de defesa dos direitos dos pacientes. Muitos chegaram ao resultado esperado, mas descumpriram procedimentos obrigatórios, como obter autorização.

Oossa · 2026-11-02 · https://oossa.com/pt/baba-bench-tests-whether-care-agents-follow-the-rules

Pesquisadores apresentaram o BABA-Bench, um benchmark com 47 cenários interativos de defesa dos direitos dos pacientes, criados com base em casos desidentificados e analisados por defensores especializados. Os agentes precisam descobrir informações e coordenar ações com organizações como seguradoras, clínicas e farmácias. O benchmark verifica cada ação quanto à autorização, às evidências e às proibições.

Em 1.974 execuções de 14 modelos, 254 das 921 que alcançaram todos os resultados exigidos falharam em pelo menos uma verificação de procedimento. O Claude Opus 5 alcançou todos os resultados exigidos em 81,6% das execuções, mas passou em todas as verificações em 52,5%. Fornecer a dois modelos um caminho validado elevou bastante suas taxas de aprovação, sugerindo que encontrar um caminho válido era mais difícil do que segui-lo.

## Os fatos

- O BABA-Bench contém 47 cenários interativos baseados em casos desidentificados de defesa dos direitos dos pacientes.
- 254 das 921 execuções que alcançaram todos os resultados exigidos falharam em uma verificação de procedimento.

## Por que importa

Para equipes que desenvolvem ferramentas de IA para ajudar pacientes a navegar pelo sistema de saúde, os resultados mostram que chegar ao resultado certo não basta: o agente também precisa respeitar autorizações e outras regras de procedimento. Ainda não foi estabelecido se esses resultados do benchmark permitem prever o desempenho em situações reais de atendimento.

## Fontes e referências

1. [BABA-Bench: Evaluating Long-Horizon Patient-Advocacy Agents](https://arxiv.org/abs/2610.41076) – arXiv, 2026-11-02

Última atualização: 2026-11-02