Une équipe de chercheurs a examiné 19 930 conversations entre des jeunes de 18 à 25 ans et ChatGPT, ainsi que les réponses à un sondage mené auprès de 158 participants. Elle a constaté que les utilisateurs en situation de détresse aiguë recevaient du chatbot des réponses excessivement alarmistes et axées sur l’action. Dix cliniciens ayant examiné des exemples de conversations ont estimé que l’IA passait trop vite aux solutions, un phénomène qu’ils ont qualifié de « défaillances du processus ». Les auteurs proposent trois mesures de conception : s’informer sur la sécurité de la personne, désamorcer la tension et examiner ses préoccupations sans acquiescer immédiatement.
Pourquoi c'est important
Comprendre ces tendances dans les réponses peut aider les développeurs à rendre l’IA conversationnelle plus sûre et plus à même de soutenir les jeunes utilisateurs vulnérables.
