研究者らは、実際の利用者の状況やコミュニケーションの特徴を反映した複数ターンの会話をシミュレーションし、医療トリアージチャットボットを検証する手法「SIM-UT」を発表した。この手法を使い、インド、南アフリカ、ケニアで利用されているWhatsApp対応の医療チャットボット3つを評価。MedGemmaをChatGPT、Claudeと比較し、5,000回を超える会話ターンをシミュレーションした。
論文によると、医療向けにファインチューニングされたモデルも汎用モデルも、利用者が新たな医学的情報を加えずに症状を軽く伝えただけで、適切だった緊急性の判断を覆すことがあった。著者らはこれを「緊急度を引き下げるリスク」と呼ぶ。なお、この研究が扱っているのはシミュレーション上の会話であり、実際の患者対応でこうした失敗が起きたことを示すものではない。
なぜ重要か
医療トリアージチャットボットを導入するチームは、現実的な会話をシミュレーションすることで、助言が危険な形で変わらないかを調べられる。ただし、この研究から実際のサービスでそうした失敗がどの程度起きるかは分からない。
