研究人员推出了 SIM-UT,这是一种测试医疗分诊聊天机器人的方法,通过模拟多轮对话,呈现真实用户的具体处境和沟通风格。研究人员用这套方法评估了印度、南非和肯尼亚的三款 WhatsApp 健康聊天机器人,并在 5,000 多轮模拟对话中比较了 MedGemma、ChatGPT 和 Claude。
论文称,经过医学微调的模型和通用模型,有时都会在用户淡化症状、但未提供任何新医疗信息后,推翻原本正确的紧急程度判断。作者将此称为“降级风险”;这项研究描述的是模拟对话,并不能证明这些失误曾在患者护理中发生。
为什么重要
部署医疗分诊聊天机器人的团队可以利用逼真的模拟对话,排查建议出现危险变化的情况;不过,这项研究并未说明此类失误在实际服务中发生的频率。