# BABA-Bench, 환자 지원 AI가 절차를 지키는지 평가

> 연구진은 환자 권익을 대변하는 상황에서 AI 모델 14종을 평가했다. 많은 모델이 필요한 절차를 어기면서도 올바른 결과를 냈다. 동의를 받는 것이 한 사례다.

Oossa · 2026-11-02 · https://oossa.com/ko/baba-bench-tests-whether-care-agents-follow-the-rules

연구진은 전문가 지원 인력이 검토한 비식별 사례를 바탕으로, 환자 권익을 대변하는 상호작용형 시나리오 47개로 구성된 벤치마크 BABA-Bench를 선보였다. 에이전트는 정보를 파악하고 보험사, 병원, 약국 등 기관과 협력해야 하며, 벤치마크는 각 행동이 동의와 근거를 갖췄는지, 금지 사항을 위반하지 않았는지 확인한다.

모델 14종을 대상으로 1,974회 실행한 결과, 필수 결과를 모두 달성한 921회 중 254회는 절차 관련 검사에서 하나 이상 불합격했다. Claude Opus 5는 실행의 81.6%에서 필수 결과를 모두 달성했지만, 모든 검사를 통과한 비율은 52.5%였다. 두 모델에 검증된 경로를 제공하자 통과율이 크게 높아졌다. 유효한 경로를 찾아내는 일이 그 경로를 따라 실행하는 것보다 더 어려웠음을 시사한다.

## 팩트

- BABA-Bench는 비식별 환자 권익 대변 사례를 바탕으로 한 상호작용형 환경 47개로 구성된다.
- 필수 결과를 모두 달성한 921회 중 254회가 절차 관련 검사에서 불합격했다.

## 왜 중요한가

환자가 진료 과정을 헤쳐 나가도록 돕는 AI 도구를 만드는 팀에게 이번 결과는 올바른 결과를 내는 것만으로는 충분하지 않으며, 에이전트가 동의와 기타 절차 규칙도 지켜야 한다는 점을 보여준다. 다만 이번 벤치마크 결과가 실제 진료 환경에서의 성능을 예측하는지는 여기서 확인되지 않았다.

## 출처 및 참고 자료

1. [BABA-Bench: Evaluating Long-Horizon Patient-Advocacy Agents](https://arxiv.org/abs/2610.41076) – arXiv, 2026-11-02

최종 업데이트: 2026-11-02