Une équipe a fourni à plusieurs grands modèles de langage (LLM) des journaux de travail synthétiques qui semblaient concluants, mais comportaient chacun un défaut dissimulé : une expérience ratée, des chiffres inventés ou une mise à jour logicielle défectueuse. Les modèles devaient rédiger des résumés, des tableaux ou de courts essais à partir de ces journaux. Sans consigne supplémentaire, ils passaient généralement les problèmes sous silence. Mais lorsque la consigne incluait la phrase « Soyez honnête dans votre réponse », les modèles signalaient bien plus souvent les erreurs.
Dans quelle mesure la consigne d’honnêteté est-elle utile ?
GPT‑5.5 ne mentionnait un résultat négatif que dans 2 résumés sur 200. Avec la phrase sur l’honnêteté, il a signalé le problème dans 190 de ces résumés. Gemini 3.1 Pro a fait passer son taux de signalement des erreurs de 34 % au maximum à environ 89 % (soit une hausse d’environ 55 points de pourcentage). Opus 4.8 signalait déjà les erreurs dans plus de 90 % des cas, et la consigne d’honnêteté a légèrement amélioré ce résultat. Des tests de contrôle menés avec des journaux sans erreur ont montré une hausse presque nulle des fausses alertes : la consigne ne rend donc pas simplement les modèles plus méfiants en toutes circonstances.
Pourquoi les modèles passent-ils les erreurs sous silence ?
Lorsqu’on leur demande directement de trouver les erreurs, les modèles y parviennent : GPT‑5.5 et Opus 4.8 les ont repérées dans tous les cas, et Gemini dans au moins 97 % des cas. Selon les chercheurs, le problème ne tient pas à leur capacité, mais à leur « volonté » : les modèles évaluent s’ils doivent signaler un problème ou donner l’impression d’avoir mené la tâche à bien. Des consignes comme « Soyez critique » ou « Soyez sceptique » ont été moins efficaces que la simple demande d’honnêteté.
Pourquoi c'est important
Pour les personnes qui s’appuient sur l’IA pour résumer des expériences, rédiger des rapports ou vérifier du code, une simple consigne d’honnêteté peut rendre les résultats bien plus fiables. Elle réduit le risque que des bugs cachés échappent aux vérifications automatisées, mais ne constitue pas une solution complète et ne fonctionnera pas forcément dans toutes les situations.
