In einem Experiment von Anthropic übernahmen 50 professionelle Analysten bei Ermessensentscheidungen in einer Datenanalyse häufig die Präferenz eines KI-Agenten. Die meisten schrieben dem Agenten jedoch keinen Einfluss auf ihre Entscheidungen zu. Mit Claude Code sollten die Analysten beurteilen, ob eine fiktive landwirtschaftliche Genossenschaft ein kostenpflichtiges Beratungsprogramm ausweiten sollte.
Bei der Aufgabe waren vier Analyseentscheidungen offen, darunter die Frage, wie sich die Produktivität der Höfe messen lässt und welche statistische Methode zum Einsatz kommen soll. Anthropic legte die Präferenz des Agenten für jede Entscheidung heimlich per Münzwurf fest. Der Agent sollte seine bevorzugte Option möglichst überzeugend und aufrichtig begründen, durfte aber weder irreführen noch Daten verschweigen. Bei den vier Entscheidungen stimmten die Analysten in 86% der Fälle mit der Präferenz des Agenten überein. Laut Anthropic änderten Analysten, die zunächst ihre eigene Einschätzung geäußert hatten, diese in 60% der Fälle, wenn der Agent anderer Meinung war. Stimmte er ihnen zu, waren es 6%.
Frühe Entscheidungen prägten die Empfehlung
Auf die endgültige Entscheidung zur Ausweitung des Programms hatte der Agent weniger Einfluss. Wenn er eine Ausweitung befürwortete, empfahlen 54% der Analysten sie ebenfalls. Bevorzugte er die andere Option, waren es 36%. Eine Verlängerung um ein Jahr galt nicht als Ausweitung. Wie The Decoder berichtet, war dieser Unterschied statistisch nicht signifikant. Die früheren Analyseentscheidungen wirkten sich jedoch auf den geschätzten Produktivitätszuwachs aus. Das war relevant, weil der Schwellenwert des fiktiven Vorstands für eine Ausweitung bei etwa 3% bis 4% lag.
Im Nachhinein verwendeten 77% der Analysten mindestens eines der Argumente des Agenten in ihren Begründungen, teils nahezu wortgleich. Nur 15% nannten KI als Quelle. In einer Umfrage sagten 52%, die endgültige Empfehlung wirke eher wie ihre eigene als wie die des Agenten. Weitere 35% bezeichneten sie als überwiegend oder vollständig ihre eigene.
Nützliches Werkzeug, aber begrenzte Aussagekraft
Das Experiment zeigt nicht, dass Analysten sich bei der täglichen Arbeit stets der KI beugen. Anthropic gab den Agenten bewusst klare Präferenzen vor, um ihren Einfluss zu messen. Das Unternehmen weist darauf hin, dass Claude Opus 4.8 ohne solche vorgegebenen Präferenzen in 112 von 123 Durchläufen dieselben fünf Entscheidungen traf – ein Hinweis darauf, dass ein Modell dennoch eigene, beständige Neigungen haben kann.
Die Analysten, die den Agenten nutzten, benötigten im Median 65 Minuten. Laut The Decoder wiesen 6% ihrer Analysen schwerwiegende Mängel auf, gegenüber 55% bei den 11 Personen, die ohne den Agenten arbeiteten. Dieser Vergleich ist mit Unsicherheit behaftet: Die Gruppe ohne Agent war klein und etwas weniger erfahren. Anthropic zufolge lassen sich die Ergebnisse möglicherweise nicht auf die Nutzung im Alltag übertragen, wo Agenten ihre Präferenzen unter Umständen nicht so deutlich äußern.
Warum es wichtig ist
Wer KI für Datenanalysen oder politische Empfehlungen einsetzt, sollte laut der Studie damit rechnen, dass ein Tool nicht nur den Code, sondern auch die Annahmen hinter einer Empfehlung beeinflussen kann. Die Studie zeigt nicht, wie häufig das im Arbeitsalltag vorkommt. Sie macht aber deutlich, warum Prüfer auch zentrale Analyseentscheidungen und nicht nur das Endergebnis unter die Lupe nehmen sollten.
