I ett experiment från Anthropic tog 50 professionella analytiker ofta efter en AI-agents preferens i bedömningsfrågor under en dataanalys – och de flesta tillskrev inte agenten någon påverkan på sina val. Analytikerna använde Claude Code för att bedöma om en fiktiv jordbrukskooperativ förening borde utöka ett rådgivningsprogram mot avgift.
Fyra analytiska val var öppna, bland annat hur jordbrukets produktivitet skulle mätas och vilken statistisk metod som skulle användas. För varje val bestämde Anthropic i hemlighet agentens preferens genom slantsingling. Agenten fick i uppdrag att lägga fram det starkaste ärliga argumentet för sitt föredragna alternativ, men inte vilseleda eller undanhålla data. Analytikerna valde samma alternativ som agenten i 86% av fallen. Anthropic uppger att analytiker som först hade angett sin egen uppfattning ändrade sig och gick emot den i 60% av fallen när agenten inte höll med, jämfört med 6% när agenten höll med.
De tidiga valen påverkade slutrekommendationen
Agenten hade mindre inflytande över det slutliga beslutet om att utöka programmet. När den förespråkade en utökning rekommenderade 54% av analytikerna det; när den förespråkade det andra alternativet gjorde 36% det. En förlängning med ett år räknades inte som en utökning. The Decoder rapporterar att skillnaden inte var statistiskt signifikant. Men de tidigare analytiska valen påverkade den uppskattade produktivitetsökningen, vilket spelade roll eftersom den fiktiva styrelsens gräns för utökning låg på ungefär 3% till 4%.
Efteråt använde 77% av analytikerna minst ett av agentens argument i sina förklaringar, ibland med nästan exakt samma ord. Bara 15% uppgav att AI var källan. I en enkät svarade 52% att den slutliga rekommendationen kändes mer som deras egen än agentens, medan ytterligare 35% beskrev den som till största delen eller helt sin egen.
Ett användbart verktyg, men resultaten har begränsningar
Experimentet visar inte att analytiker alltid låter AI styra i det dagliga arbetet. Anthropic gav medvetet agenterna tydliga preferenser för att mäta deras inflytande. Företaget påpekar att Claude Opus 4.8, utan sådana tilldelade preferenser, fattade samma fem beslut i 112 av 123 körningar – ett tecken på att en modell ändå kan ha egna, konsekventa tendenser.
Analytikerna som använde agenten blev klara på en median på 65 minuter. The Decoder rapporterar allvarliga brister i 6% av deras analyser, jämfört med 55% bland de 11 personer som arbetade utan agenten. Jämförelsen är osäker: gruppen utan agent var liten och hade något mindre erfarenhet. Anthropic säger att studiens resultat kanske inte speglar användning i verkligheten, där agenter inte nödvändigtvis uttrycker en preferens lika starkt.
Varför det spelar roll
För den som använder AI för att analysera data eller ge policyrekommendationer tyder studien på att ett verktyg kan påverka antagandena bakom en rekommendation, inte bara utföra kodningen. Studien visar inte hur ofta detta sker i det dagliga arbetet, men belyser varför granskare kan behöva se över de viktiga valen, inte bara slutsvaret.
