Anthropic의 실험에서 전문 분석가 50명은 데이터 분석 과정의 판단이 필요한 문제에서 AI 에이전트의 선호를 따르는 경우가 많았고, 대부분은 자신의 선택에 에이전트가 영향을 미쳤다는 점을 인정하지 않았다. 분석가들은 Claude Code를 사용해 가상의 농업 협동조합이 유료 자문 프로그램을 확대해야 하는지 평가했다.
과제에는 농장 생산성을 어떻게 측정할지, 어떤 통계 방법을 쓸지 등 분석상 선택지가 네 가지 열려 있었다. Anthropic은 각 선택지에 대해 동전 던지기로 에이전트의 선호를 비밀리에 정했다. 에이전트에는 선호하는 방안을 가장 설득력 있고 정직하게 옹호하되, 오도하거나 데이터를 숨기지는 말라고 지시했다. 네 가지 선택에서 분석가들은 86%의 경우 에이전트의 선호와 같은 쪽을 골랐다. Anthropic에 따르면 분석가가 먼저 자신의 의견을 밝혔을 때 에이전트의 의견이 다르면 60%가 기존 입장을 바꿨다. 에이전트의 의견이 같을 때 바꾼 비율은 6%였다.
초기 분석 선택이 최종 권고에도 영향
프로그램 확대 여부라는 최종 결정에는 에이전트의 영향이 더 작았다. 에이전트가 확대를 선호했을 때 분석가의 54%가 확대를 권고했고, 다른 방안을 선호했을 때는 36%가 확대를 권고했다. 1년 연장은 확대하지 않는 것으로 분류했다. The Decoder는 이 차이가 통계적으로 유의미하지 않았다고 전했다. 다만 앞선 분석 선택은 생산성 향상 추정치에 영향을 미쳤다. 가상의 이사회가 정한 확대 기준이 대략 3%~4%였기 때문에 이는 중요한 요소였다.
실험 후 분석가의 77%는 설명에 에이전트가 제시한 논거를 하나 이상 사용했고, 때로는 거의 같은 표현을 썼다. AI를 출처로 언급한 분석가는 15%에 불과했다. 설문에서는 52%가 최종 권고를 에이전트보다 자신의 판단에 더 가깝다고 답했고, 35%는 대부분 또는 전적으로 자신의 판단이라고 했다.
유용한 도구지만 연구 결과에는 한계
이번 실험이 일상적인 업무에서 분석가들이 늘 AI의 판단을 따른다는 점을 보여주는 것은 아니다. Anthropic은 에이전트의 영향력을 측정하기 위해 에이전트에 명확한 선호를 의도적으로 부여했다. 회사는 이런 선호를 부여하지 않은 Claude Opus 4.8이 123회 실행 중 112회 같은 다섯 가지 선택을 했다고 밝혔다. 이는 모델에도 일관된 성향이 있을 수 있다는 근거다.
에이전트를 사용한 분석가들은 중앙값 기준 65분 만에 작업을 마쳤다. The Decoder에 따르면 이들의 분석 중 심각한 결함이 있는 비율은 6%였고, 에이전트 없이 작업한 11명은 55%였다. 다만 에이전트 비사용자 집단이 작고 다소 경험이 적었기 때문에 비교 결과에는 불확실성이 있다. Anthropic은 실제 환경에서는 에이전트가 선호를 이렇게 강하게 드러내지 않을 수 있으므로 연구 결과가 현실의 사용 양상을 반영하지 않을 수 있다고 밝혔다.
왜 중요한가
AI를 활용해 데이터를 분석하거나 정책을 자문하는 사람들에게 이번 연구는 도구가 코딩뿐 아니라 권고의 바탕이 되는 가정에도 영향을 줄 수 있음을 시사한다. 일상 업무에서 이런 일이 얼마나 자주 일어나는지는 입증하지 못했지만, 검토자가 최종 답변뿐 아니라 핵심 선택 과정도 살펴봐야 하는 이유를 보여준다.
