Dans une expérience d’Anthropic, 50 analystes professionnels ont souvent adopté la préférence d’un agent IA pour des choix d’analyse de données, et la plupart n’ont pas reconnu que l’agent avait influencé leurs décisions. Ils ont utilisé Claude Code pour déterminer si une coopérative agricole fictive devait étendre un programme de conseil payant.
L’exercice laissait quatre choix d’analyse ouverts, notamment la façon de mesurer la productivité des exploitations et la méthode statistique à employer. Pour chacun, Anthropic attribuait secrètement une préférence à l’agent à pile ou face. L’agent devait défendre au mieux son option, sans induire en erreur ni dissimuler de données. Pour les quatre choix, les analystes ont suivi la préférence de l’agent dans 86 % des cas. Selon Anthropic, lorsque les analystes avaient d’abord exprimé leur propre avis, ils l’ont abandonné au profit de l’avis opposé de l’agent dans 60 % des cas, contre 6 % lorsque l’agent était du même avis.
Les premiers choix ont influencé la recommandation finale
L’agent a eu moins d’influence sur la décision finale concernant l’extension du programme. Lorsqu’il y était favorable, 54 % des analystes l’ont recommandée ; lorsqu’il préférait l’autre option, ils étaient 36 %. Une prolongation d’un an était considérée comme une absence d’extension. The Decoder rapporte que cet écart n’était pas statistiquement significatif. Mais les choix d’analyse effectués en amont ont influé sur le gain de productivité estimé, un élément important puisque le seuil d’extension fixé par le conseil d’administration fictif se situait autour de 3 % à 4 %.
Après coup, 77 % des analystes ont repris au moins un argument de l’agent dans leurs explications, parfois presque mot pour mot. Seuls 15 % ont mentionné l’IA comme source. Dans un sondage, 52 % ont déclaré que la recommandation finale leur semblait davantage venir d’eux que de l’agent, tandis que 35 % l’ont attribuée principalement ou entièrement à eux-mêmes.
Un outil utile, mais des résultats à nuancer
L’expérience ne montre pas que les analystes s’en remettent toujours à l’IA dans leur travail courant. Anthropic a délibérément donné des préférences claires aux agents afin de mesurer leur influence. L’entreprise souligne que Claude Opus 4.8, sans ces préférences imposées, a fait les mêmes cinq choix lors de 112 exécutions sur 123 — ce qui indique qu’un modèle peut tout de même avoir des tendances propres et cohérentes.
Les analystes qui utilisaient l’agent ont terminé en 65 minutes en moyenne médiane. The Decoder rapporte des failles graves dans 6 % de leurs analyses, contre 55 % parmi les 11 personnes ayant travaillé sans l’agent. Cette comparaison reste incertaine : le groupe sans agent était restreint et un peu moins expérimenté. Anthropic indique que les résultats de l’étude ne reflètent pas nécessairement les usages réels, où les agents pourraient exprimer leurs préférences avec moins d’insistance.
Pourquoi c'est important
Pour ceux qui utilisent l’IA pour analyser des données ou formuler des recommandations de politique publique, l’étude indique qu’un outil peut influencer les hypothèses qui sous-tendent une recommandation, et pas seulement effectuer le travail de codage. Elle ne permet pas d’établir à quelle fréquence cela se produit dans le travail quotidien, mais montre pourquoi les évaluateurs pourraient devoir examiner les choix clés autant que la réponse finale.
