# BABA-Bench evalúa si los agentes respetan las reglas

> Investigadores evaluaron 14 modelos de IA en situaciones de defensa de pacientes. Muchos lograron el resultado correcto, pero incumplieron procedimientos obligatorios, como pedir permiso.

Oossa · 2026-11-02 · https://oossa.com/es/baba-bench-tests-whether-care-agents-follow-the-rules

Los investigadores presentaron BABA-Bench, una prueba con 47 escenarios interactivos de defensa de pacientes, elaborados a partir de casos anonimizados revisados por defensores expertos. Los agentes deben recabar información y coordinarse con organizaciones como aseguradoras, clínicas y farmacias; la prueba verifica que cada acción cuente con autorización y pruebas, y que no infrinja ninguna prohibición.

En 1.974 ejecuciones de 14 modelos, 254 de las 921 que alcanzaron todos los resultados requeridos incumplieron al menos una verificación de procedimiento. Claude Opus 5 alcanzó todos los resultados requeridos en el 81,6 % de sus ejecuciones, pero superó todas las verificaciones en el 52,5 %. Proporcionar a dos modelos una ruta verificada elevó considerablemente sus tasas de aprobación, lo que sugiere que encontrar una ruta válida era más difícil que seguirla.

## Los hechos

- BABA-Bench contiene 47 entornos interactivos basados en casos anonimizados de defensa de pacientes.
- 254 de las 921 ejecuciones que alcanzaron todos los resultados requeridos incumplieron una verificación de procedimiento.

## Por qué importa

Para los equipos que desarrollan herramientas de IA para ayudar a los pacientes a desenvolverse en el sistema de atención médica, los resultados muestran que no basta con alcanzar el resultado correcto: el agente también debe respetar las autorizaciones y otras reglas de procedimiento. No se ha establecido aquí si estos resultados de referencia permiten predecir el desempeño en situaciones reales de atención médica.

## Fuentes y referencias

1. [BABA-Bench: Evaluating Long-Horizon Patient-Advocacy Agents](https://arxiv.org/abs/2610.41076) – arXiv, 2026-11-02

Última actualización: 2026-11-02