В новой статье, опубликованной на arXiv 23 October 2026, изучается, насколько хорошо большие языковые модели (LLM — тип ИИ, лежащий в основе таких инструментов, как ChatGPT) успевают за изменениями медицинских рекомендаций. Авторы создали набор тестов ChronoEvo, включающий 1,709 конкретных обновлений рекомендаций по 12 типам изменений медицинских знаний. Они попросили 14 разных LLM ответить на клинические вопросы с учётом обновлённых рекомендаций.
Что показали тесты
Основная модель, изучавшаяся в работе, распознала, что рекомендация была обновлена, в 90.8% случаев и дала клинически верный ответ в 80.2% случаев. Однако полностью учла новую рекомендацию лишь в 58.5% ответов. Таким образом, разрыв между распознаванием изменений и фактическим применением новых рекомендаций составил 32.3 процентного пункта. Такой же разрыв наблюдался и у остальных 13 протестированных моделей. Два врача также рассмотрели 300 ответов моделей и обнаружили схожее отставание: разрыв между распознаванием обновлений и их полным применением составил 40.3 процентного пункта. В исследовании отмечается, что модели особенно часто сохраняют устаревшие советы, если изменения касаются силы рекомендации или того, каким пациентам она подходит. Авторы проверили приём «подсветки обновлений», который выделяет изменённую часть рекомендации. Он сократил объём устаревшей информации в ответах модели и повысил общую клиническую точность, но не устранил разрыв в полном учёте новых рекомендаций.
Почему это важно
Для врачей и пациентов, которые могут полагаться на ИИ в вопросах здоровья, это означает, что даже актуальные модели всё ещё могут рекомендовать устаревшее лечение. Советы ИИ по медицинским вопросам следует сверять с действующими официальными рекомендациями.
Почему это важно
Врачи и пациенты, использующие ИИ-инструменты, могут получить вводящий в заблуждение совет: он выглядит актуальным, но всё ещё основан на старых рекомендациях. Исследование показывает, что разработчикам ИИ нужны более эффективные способы добиваться того, чтобы модели не только замечали обновления, но и правильно их применяли.
