In un esperimento di Anthropic, 50 analisti professionisti hanno spesso adottato le preferenze di un agente IA nelle scelte di giudizio necessarie per un’analisi dei dati, e la maggior parte non ha riconosciuto che l’agente avesse influenzato le proprie decisioni. Gli analisti hanno usato Claude Code per valutare se una cooperativa agricola immaginaria dovesse ampliare un programma di consulenza a pagamento.
L’attività lasciava aperte quattro scelte analitiche, tra cui il modo di misurare la produttività delle aziende agricole e il metodo statistico da usare. Per ciascuna scelta, Anthropic ha assegnato di nascosto all’agente una preferenza tramite il lancio di una moneta. All’agente è stato chiesto di presentare nel modo più convincente e in buona fede l’opzione preferita, senza fuorviare né nascondere dati. Nel complesso, gli analisti hanno seguito la preferenza dell’agente nell’86% dei casi. Anthropic afferma che, quando gli analisti avevano già espresso la propria opinione, l’hanno cambiata nel 60% dei casi in cui l’agente era in disaccordo, contro il 6% quando era d’accordo.
Le scelte iniziali hanno influenzato la raccomandazione finale
L’agente ha inciso meno sulla decisione finale di ampliare o meno il programma. Quando era favorevole all’ampliamento, il 54% degli analisti lo ha raccomandato; quando preferiva l’altra opzione, la percentuale è stata del 36%. Una proroga di un anno è stata considerata come un mancato ampliamento. Secondo The Decoder, la differenza non era statisticamente significativa. Le scelte analitiche precedenti, però, hanno influito sulla stima dell’aumento di produttività, un dato importante perché la soglia fissata dal consiglio di amministrazione immaginario per procedere era di circa il 3%-4%.
In seguito, il 77% degli analisti ha ripreso nelle proprie spiegazioni almeno una delle argomentazioni dell’agente, a volte usando formulazioni quasi identiche. Solo il 15% ha indicato l’IA come fonte. In un sondaggio, il 52% ha detto che la raccomandazione finale sembrava più propria che dell’agente, mentre un altro 35% l’ha descritta come in gran parte o del tutto propria.
Uno strumento utile, ma con limiti nei risultati
L’esperimento non dimostra che gli analisti si affidino sempre all’IA nel lavoro quotidiano. Anthropic ha assegnato deliberatamente agli agenti preferenze chiare per misurarne l’influenza. L’azienda osserva che Claude Opus 4.8, senza preferenze assegnate, ha fatto le stesse cinque scelte in 112 delle 123 esecuzioni: un indizio del fatto che un modello possa comunque avere orientamenti coerenti propri.
Gli analisti che hanno usato l’agente hanno completato il lavoro in una mediana di 65 minuti. Secondo The Decoder, il 6% delle loro analisi presentava gravi difetti, contro il 55% delle 11 persone che hanno lavorato senza l’agente. Il confronto è incerto: il gruppo senza agente era piccolo e aveva un’esperienza leggermente inferiore. Anthropic afferma che i risultati dello studio potrebbero non rispecchiare l’uso nel mondo reale, dove gli agenti potrebbero non esprimere le proprie preferenze in modo così netto.
Perché conta
Per chi usa l’IA per analizzare dati o fornire consulenza sulle politiche pubbliche, lo studio suggerisce che uno strumento può influenzare le ipotesi alla base di una raccomandazione, e non limitarsi a scrivere codice. Non stabilisce quanto spesso accada nel lavoro di tutti i giorni, ma mostra perché chi verifica un’analisi potrebbe dover esaminare anche le scelte fondamentali, oltre al risultato finale.
