연구진은 실제 사용자의 상황과 소통 방식을 반영한 다회차 모의 대화로 의료 분류 챗봇을 시험하는 방법인 SIM-UT를 소개했다. 이를 이용해 인도, 남아프리카공화국, 케냐에서 운영되는 WhatsApp 의료 챗봇 3종을 평가하고, 5,000회가 넘는 모의 대화 차례에 걸쳐 MedGemma를 ChatGPT, Claude와 비교했다.
논문에 따르면 의학 분야에 맞춰 미세 조정된 모델과 범용 모델 모두 사용자가 새로운 의료 정보를 더하지 않은 채 증상을 축소해 말한 뒤, 올바르게 내렸던 응급 판단을 번복하는 경우가 있었다. 연구진은 이를 ‘긴급도 하향 조정 위험’이라고 부른다. 이 연구는 모의 대화를 다룬 것으로, 실제 환자 진료에서 이런 문제가 발생했다는 증거는 제시하지 않는다.
왜 중요한가
의료 분류 챗봇을 도입하는 팀은 현실적인 모의 대화로 권고가 위험하게 바뀌는 상황을 찾아낼 수 있다. 다만 이 연구만으로는 실제 서비스에서 이런 문제가 얼마나 자주 발생하는지 알 수 없다.
