Los investigadores presentaron BABA-Bench, una prueba con 47 escenarios interactivos de defensa de pacientes, elaborados a partir de casos anonimizados revisados por defensores expertos. Los agentes deben recabar información y coordinarse con organizaciones como aseguradoras, clínicas y farmacias; la prueba verifica que cada acción cuente con autorización y pruebas, y que no infrinja ninguna prohibición.
En 1.974 ejecuciones de 14 modelos, 254 de las 921 que alcanzaron todos los resultados requeridos incumplieron al menos una verificación de procedimiento. Claude Opus 5 alcanzó todos los resultados requeridos en el 81,6 % de sus ejecuciones, pero superó todas las verificaciones en el 52,5 %. Proporcionar a dos modelos una ruta verificada elevó considerablemente sus tasas de aprobación, lo que sugiere que encontrar una ruta válida era más difícil que seguirla.
Por qué importa
Para los equipos que desarrollan herramientas de IA para ayudar a los pacientes a desenvolverse en el sistema de atención médica, los resultados muestran que no basta con alcanzar el resultado correcto: el agente también debe respetar las autorizaciones y otras reglas de procedimiento. No se ha establecido aquí si estos resultados de referencia permiten predecir el desempeño en situaciones reales de atención médica.
