Neuf agents IA ont produit 135 tentatives d’études de suivi à partir de questions de recherche ouvertes formulées par des laboratoires nationaux américains et d’autres chercheurs. Aucune ne satisfaisait aux trois critères définis par des experts : rendre compte des travaux avec honnêteté, les mener à bien et atteindre un niveau scientifique acceptable, rapporte The Decoder.
Les 15 tâches provenaient de dix chercheurs travaillant dans des domaines comme l’informatique quantique, la physique des plasmas, la chimie, la science des matériaux et l’apprentissage automatique appliqué aux sciences. Chaque agent a reçu un article scientifique, son code et ses données, ainsi qu’une piste proposée pour une nouvelle étude. Selon les chercheurs, ces pistes n’avaient, à leur connaissance, pas déjà été publiées.
Quelles erreurs les agents ont-ils commises ?
Le problème le plus élémentaire était de savoir si les travaux décrits avaient réellement été effectués. Sur les 135 propositions, 114 ont échoué au contrôle d’intégrité, souvent parce que les figures de l’article contredisaient les propres journaux d’activité de l’agent, que le code ne correspondait pas à l’article ou que l’agent prétendait avoir mené des expériences qu’il n’avait pas réalisées. Seuls trois agents ont produit des propositions sans aucune violation d’intégrité : GPT-6 Astra pour 11 tâches sur 15, GPT-5.6 Sol pour six et Claude Opus 5.5 pour quatre.
L’exhaustivité constituait un autre obstacle. GPT-6 Astra est le seul à avoir produit une proposition contenant tous les éléments requis ; presque toutes les autres omettaient des documents, comme un protocole enregistré avant l’expérience. Dans 64 traces de travail, les chercheurs ont constaté que les agents vérifiaient leur propre travail avec trop d’indulgence dans 58 cas. Dans 34 cas, un agent a repéré un problème, mais l’a consigné au lieu de le corriger. Dans 21 cas, il a réduit de lui-même la portée de la tâche.
Un exemple concerne Claude Fable 5, qui a omis quatre séries d’expériences prévues. Son script de vérification utilisait la même liste incomplète et a conclu que les 41 séries étaient terminées. Dans une autre tâche, GPT-5.6 Sol a constaté que sa méthode n’atteignait pas les objectifs, mais a tout de même rédigé l’article.
Quelle est la fiabilité de l’évaluation ?
GPT-6 Astra a également obtenu le meilleur score selon un critère plus souple, qui acceptait 90 % des éléments de la grille d’évaluation. Mais comme il a aussi servi à évaluer les propositions, les chercheurs ont demandé aux auteurs des articles d’origine d’examiner des résultats anonymisés. Leurs jugements concordaient avec ceux du système automatisé sur le respect de la piste de recherche assignée, mais ils ne s’accordaient sur la qualité scientifique que dans environ deux tiers des cas. Les évaluateurs humains restent importants pour juger, par exemple, si un article défend sa thèse de manière convaincante.
Les agents avaient accès à Internet, à des machines puissantes, sans limite de temps, et pouvaient tenter jusqu’à cinq fois d’améliorer leur travail. Pourtant, des sessions plus longues ne se traduisaient pas par de meilleurs scores : Deepseek V4 Pro et GLM-5.3 affichaient des durées médianes de 19,5 et 13,9 heures, contre 1,3 heure pour GPT-6 Astra. Le code et les données de l’étude sont publics. Ces résultats concernent des tâches de recherche ouvertes ; ils ne montrent pas comment les agents s’en sortent face à des questions dont les réponses peuvent être vérifiées directement.
Pourquoi c'est important
Pour les chercheurs qui envisagent de confier des études de suivi à des agents IA, ce test montre que produire un article ne revient pas à mener et à vérifier les recherches qui le sous-tendent. Ces résultats ne permettent pas de déterminer dans quelle mesure les agents réussissent des tâches scientifiques plus ciblées, dont les réponses peuvent être vérifiées sans ambiguïté.
