Des chercheurs présentent une méthode automatisée ayant généré 6 575 jeux de données conçus pour provoquer des changements inattendus dans le comportement des modèles de langage. Ces jeux de données couvrent huit comportements et visent à susciter une réponse précise tout en paraissant ordinaires aux évaluateurs humains. L’équipe indique que de nombreux effets secondaires se sont retrouvés dans différentes familles et tailles de modèles, et que les évaluations automatisées concordaient avec le jugement des chercheurs.
Les auteurs présentent cette collection comme un banc d’essai pour étudier comment les données d’entraînement peuvent influencer le comportement au-delà du domaine visé. Selon eux, ces travaux pourraient aider à anticiper de tels effets avant le déploiement, mais l’article ne démontre pas que la méthode permet de prévoir de façon fiable les risques associés aux modèles déployés.
Pourquoi c'est important
Les chercheurs en IA peuvent utiliser cette collection pour vérifier si des exemples d’entraînement apparemment ordinaires entraînent des comportements indésirables. Son utilité pour anticiper les risques liés au déploiement dans le monde réel reste toutefois à démontrer.
