Des chercheurs ont analysé 127 833 requêtes adressées à l’assistant fondé sur un grand modèle de langage (LLM) d’un hôpital par 6 342 médecins, infirmiers et autres professionnels de santé, sur une période de huit mois. Ils ont constaté que 36 % des requêtes concernaient la documentation et les tâches administratives, et 29 % la recherche d’informations, tandis que seules 4 % portaient sur des diagnostics. Plus d’un tiers des demandes étaient formulées de telle sorte qu’il était difficile d’y répondre correctement. En comparant ces tâches réelles à 58 tests de référence publics, les chercheurs ont constaté que ceux-ci ne couvraient qu’environ un tiers des types de tâches observés et ne tenaient aucun compte du travail de documentation.
Pourquoi c'est important
Les hôpitaux devront peut-être repenser l’évaluation de l’IA afin qu’elle reflète les tâches quotidiennes de documentation et de recherche d’informations sur lesquelles les professionnels de santé s’appuient réellement.
