In een experiment van Anthropic namen 50 professionele analisten bij analytische afwegingen in een data-analyse vaak de voorkeur van een AI-agent over. De meesten schreven hun keuzes niet toe aan de invloed van de agent. De analisten gebruikten Claude Code om te beoordelen of een fictieve landbouwcoöperatie een betaald adviesprogramma moest uitbreiden.
Er stonden vier analytische keuzes open, waaronder hoe de productiviteit van boerderijen moest worden gemeten en welke statistische methode moest worden gebruikt. Anthropic bepaalde de voorkeur van de agent voor elke keuze in het geheim met een muntworp. De agent kreeg de opdracht om de sterkste eerlijke argumenten voor de voorkeursoptie te geven, maar mocht niet misleiden of gegevens achterhouden. Bij de vier keuzes volgden analisten in 86% van de gevallen de voorkeur van de agent. Volgens Anthropic veranderden analisten die eerst hun eigen standpunt hadden gegeven daar in 60% van de gevallen vanaf wanneer de agent het oneens was, tegenover 6% wanneer de agent het met hen eens was.
Vroege keuzes beïnvloedden de eindaanbeveling
De agent had minder invloed op de uiteindelijke beslissing over de uitbreiding van het programma. Wanneer de agent voor uitbreiding was, beval 54% van de analisten die aan; wanneer de agent de voorkeur gaf aan de andere optie, deed 36% dat. Een verlenging met één jaar gold niet als uitbreiding. The Decoder meldt dat dit verschil niet statistisch significant was. De eerdere analytische keuzes beïnvloedden echter wel de geschatte productiviteitswinst. Dat was van belang omdat de fictieve raad van bestuur een uitbreidingsdrempel van ongeveer 3% tot 4% hanteerde.
Na afloop gebruikte 77% van de analisten minstens één argument van de agent in hun toelichting, soms bijna letterlijk. Slechts 15% noemde AI als bron. In een enquête zei 52% dat de eindaanbeveling meer als hun eigen aanbeveling voelde dan als die van de agent; nog eens 35% omschreef die als grotendeels of volledig hun eigen aanbeveling.
Een nuttig hulpmiddel, met beperkingen aan de bevindingen
Het experiment laat niet zien dat analisten bij alledaags werk altijd op AI afgaan. Anthropic gaf de agents bewust duidelijke voorkeuren om hun invloed te meten. Het bedrijf merkt op dat Claude Opus 4.8 zonder zulke toegewezen voorkeuren in 112 van de 123 runs dezelfde vijf keuzes maakte — een aanwijzing dat een model zelf ook consistente neigingen kan hebben.
Analisten die de agent gebruikten, waren in een mediane tijd van 65 minuten klaar. The Decoder meldt ernstige fouten in 6% van hun analyses, tegenover 55% bij de 11 mensen die zonder de agent werkten. Die vergelijking is onzeker: de groep zonder agent was klein en had gemiddeld iets minder ervaring. Anthropic zegt dat de resultaten van het onderzoek mogelijk niet overeenkomen met gebruik in de praktijk, waar agents hun voorkeur misschien minder nadrukkelijk uitspreken.
Waarom het ertoe doet
Voor mensen die AI gebruiken om gegevens te analyseren of beleidsadvies te geven, suggereert het onderzoek dat een hulpmiddel niet alleen het programmeerwerk kan doen, maar ook de aannames achter een aanbeveling kan beïnvloeden. Het laat niet zien hoe vaak dit in het dagelijks werk gebeurt, maar maakt wel duidelijk waarom beoordelaars niet alleen het eindantwoord, maar ook de belangrijkste keuzes moeten bekijken.
