研究人员推出了BABA-Bench。这套基准测试包含47个互动式患者权益倡导场景，素材来自经过去标识化处理、并由专业倡导者审阅的案例。代理需要查明信息，并与保险公司、诊所和药房等机构协调；基准测试则会检查每一步操作是否获得许可、有无证据支持，以及是否违反禁令。
在对14款模型进行的1,974次测试中，921次达成全部必要结果的测试里，有254次至少未通过一项流程检查。Claude Opus 5在81.6%的测试中达成全部必要结果，但仅有52.5%通过所有检查。为两款模型提供经过验证的流程后，其通过率大幅提升，这表明找到合规路径比执行路径更难。
为什么重要
对于开发AI工具、帮助患者应对医疗服务流程的团队来说，结果表明，达成正确结果还不够：代理还必须尊重许可要求和其他流程规则。不过，这些基准测试结果能否预测AI在真实医疗场景中的表现，目前尚无定论。
