در آزمایشی از Anthropic، 50 تحلیلگر حرفه‌ای در تصمیم‌های قضاوتیِ یک تحلیل داده، اغلب ترجیح عامل هوش مصنوعی را پذیرفتند و بیشترشان هم نگفتند که عامل در شکل‌گیری انتخاب‌هایشان نقش داشته است. تحلیلگران با Claude Code بررسی کردند که آیا یک تعاونی کشاورزی خیالی باید برنامه مشاوره پولی خود را گسترش دهد یا نه.
در این کار، چهار انتخاب تحلیلی باز گذاشته شده بود؛ از جمله اینکه بهره‌وری مزارع چگونه سنجیده شود و از کدام روش آماری استفاده کنند. Anthropic برای هر انتخاب، ترجیح عامل را پنهانی و با پرتاب سکه تعیین کرد. به عامل گفته شده بود که قوی‌ترین استدلال صادقانه را در دفاع از گزینه موردعلاقه‌اش مطرح کند، اما گمراه‌سازی نکند و داده‌ها را پنهان نکند. در مجموعِ چهار انتخاب، تحلیلگران در 86% موارد با ترجیح عامل همراه شدند. Anthropic می‌گوید تحلیلگرانی که ابتدا نظر خود را اعلام کرده بودند، وقتی عامل با آن مخالف بود در 60% موارد از نظرشان برگشتند؛ در حالی که وقتی عامل موافق بود، این رقم 6% بود.
انتخاب‌های اولیه بر توصیه نهایی اثر گذاشتند
عامل تأثیر کمتری بر تصمیم نهایی درباره گسترش برنامه داشت. وقتی عامل موافق گسترش بود، 54% تحلیلگران آن را توصیه کردند؛ وقتی طرفدار گزینه دیگر بود، این رقم 36% بود. تمدید یک‌ساله، گسترش برنامه محسوب نمی‌شد. به گزارش The Decoder، این تفاوت از نظر آماری معنادار نبود. با این حال، انتخاب‌های تحلیلی قبلی بر برآورد افزایش بهره‌وری اثر گذاشتند؛ موضوعی مهم، چون آستانه گسترش تعیین‌شده از سوی هیئت‌مدیره خیالی حدود 3% تا 4% بود.
پس از آن، 77% تحلیلگران دست‌کم از یکی از استدلال‌های عامل در توضیحاتشان استفاده کردند و گاهی تقریباً همان واژه‌ها را به کار بردند. فقط 15% گفتند که منبع این استدلال‌ها هوش مصنوعی بوده است. در یک نظرسنجی، 52% گفتند توصیه نهایی بیشتر از آنِ خودشان به نظر می‌رسید تا عامل؛ 35% دیگر هم آن را عمدتاً یا کاملاً نظر خودشان دانستند.
ابزاری مفید، با محدودیت‌هایی در یافته‌ها
این آزمایش نشان نمی‌دهد که تحلیلگران در کارهای روزمره همیشه از هوش مصنوعی پیروی می‌کنند. Anthropic عمداً ترجیح‌های مشخصی به عامل‌ها داد تا میزان نفوذشان را بسنجد. این شرکت می‌گوید Claude Opus 4.8، بدون این ترجیح‌های ازپیش‌تعیین‌شده، در 112 مورد از 123 اجرا همان پنج انتخاب را انجام داد؛ نشانه‌ای از اینکه یک مدل ممکن است گرایش‌های باثبات خودش را داشته باشد.
تحلیلگرانی که از عامل استفاده کردند، کار را در میانه زمانیِ 65 دقیقه به پایان رساندند. به گزارش The Decoder، در 6% از تحلیل‌های آن‌ها ایرادهای جدی وجود داشت؛ این رقم در میان 11 نفری که بدون عامل کار کردند 55% بود. البته این مقایسه قطعی نیست: گروهی که عامل نداشت کوچک‌تر و تا حدی کم‌تجربه‌تر بود. Anthropic می‌گوید نتایج این پژوهش شاید بازتاب‌دهنده استفاده در دنیای واقعی نباشد؛ جایی که عامل‌ها ممکن است ترجیح خود را با چنین صراحتی بیان نکنند.
چرا مهم است
برای کسانی که از هوش مصنوعی برای تحلیل داده یا ارائه مشاوره سیاست‌گذاری استفاده می‌کنند، این پژوهش نشان می‌دهد که یک ابزار می‌تواند نه‌فقط کدنویسی، بلکه فرض‌های پشت یک توصیه را هم شکل دهد. این پژوهش مشخص نمی‌کند که چنین اتفاقی در کار روزمره هر چند وقت یک‌بار رخ می‌دهد، اما نشان می‌دهد چرا بازبین‌ها باید انتخاب‌های کلیدی را هم بررسی کنند، نه فقط پاسخ نهایی را.
