Anthropicの実験では、専門アナリスト50人がデータ分析における判断でAIエージェントの選好をしばしば採用した一方、自分の選択にエージェントが影響したと認識していた人は少なかった。アナリストはClaude Codeを使い、架空の農業協同組合が有料のアドバイザリープログラムを拡大すべきかどうかを評価した。
この課題では、農場の生産性の測り方や、どの統計手法を使うかなど、4つの分析上の選択肢が未決定のまま残されていた。Anthropicは各選択肢について、コイン投げでエージェントの選好を秘密裏に決めた。エージェントには、誤解を招いたりデータを隠したりせず、自分の好む案を最も説得力のある形で主張するよう指示した。4つの選択肢全体で、アナリストがエージェントの選好と一致した割合は86%だった。Anthropicによると、アナリストが先に自分の見解を示していた場合、エージェントと意見が異なるとその見解を変えた割合は60%に上った。一方、意見が一致していた場合に見解を変えた割合は6%だった。
序盤の判断が最終的な提言を左右
プログラムを拡大するかどうかという最終判断に対するエージェントの影響は、比較的小さかった。エージェントが拡大を支持した場合、アナリストの54%が拡大を提言した。エージェントがもう一方の選択肢を支持した場合、その割合は36%だった。1年間の延長は、拡大しない選択肢として扱われた。The Decoderによると、この差は統計的に有意ではなかった。ただし、それ以前の分析上の選択は生産性向上の推定値に影響した。架空の理事会が定めた拡大の基準は、およそ3%から4%だったため、この推定値は重要だった。
その後、アナリストの77%が説明の中でエージェントの主張を少なくとも1つ用い、ときにはほぼ同じ言葉を使っていた。AIを情報源として挙げたのは、わずか15%だった。アンケートでは、最終的な提言はエージェントより自分自身の考えに近いと答えた人が52%に上り、さらに35%は、ほぼすべて、または完全に自分自身の提言だと説明した。
有用なツールだが、研究結果には限界も
この実験は、日常業務でアナリストが常にAIに従うことを示すものではない。Anthropicは影響力を測定するため、エージェントに明確な選好を意図的に与えた。同社によると、そうした選好を設定しなかったClaude Opus 4.8も、123回の実行のうち112回で同じ5つの選択をした。これは、モデル自体にも一貫した傾向があり得ることを示している。
エージェントを使ったアナリストが作業を終えるまでの時間は、中央値で65分だった。The Decoderによると、分析に重大な欠陥があった割合は6%で、エージェントを使わずに作業した11人では55%だった。ただし、この比較には不確実性がある。エージェントを使わないグループは人数が少なく、経験もやや浅かった。Anthropicは、実際の利用場面ではエージェントがこれほど強く選好を示さない可能性があるため、研究結果が現実の利用状況を反映していないこともあり得るとしている。
なぜ重要か
AIを使ってデータを分析したり、政策について助言したりする人にとって、この研究は、ツールがコードを書く作業だけでなく、提言の前提となる判断にも影響し得ることを示唆している。日常業務でどれほど頻繁に起きるかは明らかにしていないが、最終的な答えだけでなく、重要な判断の過程も確認する必要がある理由を示している。
