Une étude publiée sur arXiv a évalué la façon dont trois modèles de langage traitent des demandes de remboursement et d’indemnisation difficiles à trancher lorsqu’on leur présente trois dossiers antérieurs similaires. Pour DeepSeek V4.1 Flash, GPT-5.6 Luna et Claude Haiku 5.5, remplacer les décisions consignées dans ces dossiers — REFUSER par APPROUVER — a fait grimper le taux d’approbation d’environ 30 à 55 points de pourcentage, selon des règles rédigées pour l’étude.
En revanche, lorsque DeepSeek et Luna ne voyaient que les faits des dossiers antérieurs, ils approuvaient moins souvent les demandes dont les faits plaidaient en faveur d’une approbation que celles dont les faits justifiaient un refus. Les auteurs indiquent avoir observé le même phénomène avec neuf règles publiques reformulées à partir de règles réelles.
Pourquoi c'est important
Les organisations qui s’appuient sur l’IA pour évaluer des demandes de remboursement ou d’indemnisation devraient tester séparément les faits des dossiers antérieurs et les décisions qui y ont été consignées : les uns comme les autres peuvent influer sur les décisions, et leur effet peut aller dans des sens opposés.
