In een onderzoek dat op arXiv is gepubliceerd, werd getest hoe drie taalmodellen omgaan met twijfelgevallen rond terugbetalingen en claims wanneer ze drie vergelijkbare eerdere zaken te zien krijgen. Bij DeepSeek V4.1 Flash, GPT-5.6 Luna en Claude Haiku 5.5 steeg het goedkeuringspercentage met ongeveer 30 tot 55 procentpunt toen de vastgelegde beslissingen in die zaken werden veranderd van DENY in APPROVE. Dit gebeurde bij beleidsregels die voor het onderzoek waren opgesteld.
Maar wanneer DeepSeek en Luna alleen de feiten uit eerdere zaken te zien kregen, keurden ze verzoeken met feiten die goedkeuring ondersteunden minder vaak goed dan verzoeken met feiten die afwijzing ondersteunden. Volgens de auteurs was dit patroon ook zichtbaar bij negen openbare beleidsregels die waren geparafraseerd op basis van echte beleidsregels.
Waarom het ertoe doet
Organisaties die AI inzetten om terugbetalingen of claims te beoordelen, moeten de feiten uit eerdere zaken afzonderlijk testen van de vastgelegde uitkomsten. Beide kunnen beslissingen beïnvloeden, en het effect kan per factor een andere kant op gaan.
