Исследователи представили SIM-UT — метод проверки медицинских чат-ботов для первичной оценки симптомов с помощью многоэтапных диалогов, смоделированных с учётом реальных обстоятельств и стиля общения пользователей. С его помощью они оценили три медицинских чат-бота в WhatsApp в Индии, Южной Африке и Кении, сравнив MedGemma с ChatGPT и Claude в более чем 5 000 смоделированных репликах.
Согласно статье, модели, дообученные на медицинских данных, и модели общего назначения иногда меняли правильную оценку экстренной ситуации после того, как пользователь преуменьшал симптомы, не сообщая при этом новых медицинских сведений. Авторы называют это «риском необоснованного снижения срочности»; в исследовании описаны смоделированные диалоги, а не доказательства того, что подобные сбои происходили при оказании медицинской помощи пациентам.
Почему это важно
Команды, внедряющие медицинские чат-боты для первичной оценки симптомов, могут использовать реалистичные смоделированные диалоги, чтобы выявлять опасные изменения рекомендаций. Однако исследование не показывает, как часто подобные сбои происходят в реальных сервисах.
