在Anthropic的一项实验中,50名专业分析师在分析数据时,经常采纳AI代理对判断问题的偏好,而且大多数人并未认为自己的选择受到代理影响。他们使用Claude Code,评估一个虚构的农业合作社是否应该扩大收费咨询项目。
任务中有四项分析选择没有预先规定,包括如何衡量农场生产力,以及采用哪种统计方法。Anthropic通过抛硬币,暗中为代理设定了每项选择的偏好。代理被要求为自己偏好的选项提出最有力且诚实的论据,但不得误导或隐瞒数据。在这四项选择中,分析师有86%的情况下与代理的偏好一致。Anthropic表示,当分析师先表明自己的看法后,如果代理持不同意见,他们有60%的情况下会改弦易辙;如果代理意见一致,改主意的比例则为6%。
前期选择影响了最终建议
代理对是否扩大项目这一最终决定的影响较小。代理支持扩大项目时,54%的分析师建议扩大;代理支持另一种选择时,这一比例为36%。将延期一年视为不扩大项目。The Decoder报道称,这一差异在统计学上并不显著。但前期的分析选择会影响对生产力增幅的估算,而这很重要,因为虚构董事会决定扩大项目的门槛约为3%至4%。
实验结束后,77%的分析师在解释中至少使用了代理提出的一条论据,有时措辞几乎完全相同。只有15%的人提到AI是这些论据的来源。在一项调查中,52%的人表示,最终建议更像是自己的想法,而不是代理的;另有35%的人认为建议大部分或完全是自己做出的。
工具有用,但研究结论有局限
这项实验并不能证明分析师在日常工作中总会听从AI。Anthropic刻意为代理设定了明确偏好,以衡量其影响力。该公司指出,没有预设偏好的Claude Opus 4.8在123次运行中有112次做出了相同的五项选择,这表明模型本身也可能存在稳定倾向。
使用代理的分析师完成任务的用时中位数为65分钟。The Decoder报道称,他们的分析中有6%存在严重缺陷;相比之下,在11名未使用代理的人中,这一比例为55%。但这一比较并不确定:未使用代理的组别人数较少,经验也略逊一筹。Anthropic表示,研究结果未必能反映现实中的使用情况,因为实际应用中的代理可能不会如此明确地表达偏好。
为什么重要
对于使用AI分析数据或提供政策建议的人来说,这项研究表明,工具影响的不只是代码编写,也可能左右建议背后的假设。研究无法说明这种情况在日常工作中有多常见,但说明审查者除了查看最终答案,也有必要核查关键选择。