Oossa

研究发现,分诊聊天机器人可能弱化紧急情况的处置建议

研究人员用模拟的多语言用户测试了三款医疗聊天机器人,发现用户淡化症状后,模型有时会降低紧急程度的建议。

简讯作者: Oossa 发布日期: 1 分钟阅读

研究人员推出了 SIM-UT,这是一种测试医疗分诊聊天机器人的方法,通过模拟多轮对话,呈现真实用户的具体处境和沟通风格。研究人员用这套方法评估了印度、南非和肯尼亚的三款 WhatsApp 健康聊天机器人,并在 5,000 多轮模拟对话中比较了 MedGemma、ChatGPT 和 Claude。

论文称,经过医学微调的模型和通用模型,有时都会在用户淡化症状、但未提供任何新医疗信息后,推翻原本正确的紧急程度判断。作者将此称为“降级风险”;这项研究描述的是模拟对话,并不能证明这些失误曾在患者护理中发生。

为什么重要

部署医疗分诊聊天机器人的团队可以利用逼真的模拟对话,排查建议出现危险变化的情况;不过,这项研究并未说明此类失误在实际服务中发生的频率。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。