Une nouvelle étude publiée sur arXiv le 23 octobre 2026 examine la capacité des grands modèles de langage (LLM, le type d’IA qui alimente des outils comme ChatGPT) à suivre l’évolution des recommandations médicales. Les auteurs ont créé un jeu de tests, ChronoEvo, qui recense 1,709 révisions précises de recommandations couvrant 12 types d’évolution des connaissances médicales. Ils ont demandé à 14 LLM différents de répondre à des questions cliniques en s’appuyant sur les recommandations actualisées.
Ce que montrent les tests
Le modèle principal de l’étude a repéré qu’une recommandation avait été révisée dans 90.8% des cas et fourni une réponse cliniquement correcte dans 80.2% des cas. Cependant, seules 58.5% de ses réponses intégraient pleinement la nouvelle recommandation. Il y a donc un écart de 32.3 points de pourcentage entre le fait de repérer un changement et celui d’appliquer réellement les nouvelles recommandations. Le même écart a été observé pour les 13 autres modèles testés. Deux médecins ont également examiné 300 réponses de modèles et constaté une lacune similaire : un écart de 40.3 points de pourcentage entre le repérage des révisions et leur application complète. Selon l’étude, les changements qui modifient la force d’une recommandation ou les patients auxquels elle s’applique sont particulièrement susceptibles de laisser des conseils obsolètes dans les réponses du modèle. Les auteurs ont testé un ajustement de « saillance des révisions », qui met en évidence la partie actualisée d’une recommandation. Cette méthode a réduit la quantité d’informations anciennes conservées par le modèle et amélioré la justesse clinique globale, mais elle n’a pas comblé l’écart concernant l’intégration complète des nouvelles recommandations.
Pourquoi c’est important
Pour les médecins ou les patients susceptibles de se fier à l’IA pour obtenir des conseils médicaux, ces résultats montrent que même les modèles à jour peuvent encore suggérer des traitements obsolètes. Il est conseillé de vérifier les recommandations médicales générées par l’IA à l’aune des recommandations officielles en vigueur.
Pourquoi c'est important
Les médecins et les patients qui utilisent des outils d’IA peuvent être induits en erreur par des conseils qui semblent à jour, mais reposent encore sur d’anciennes recommandations. L’étude montre que les concepteurs d’IA doivent trouver de meilleurs moyens de s’assurer que les modèles ne se contentent pas de repérer les mises à jour, mais les appliquent aussi correctement.
