۹ عامل هوش مصنوعی در آزمون پژوهش علمی مردود شدند

۹ عامل هوش مصنوعی در مجموع ۱۳۵ تلاش برای انجام پژوهش‌های پیگیری تولید کردند؛ پژوهش‌هایی بر پایه پرسش‌های بازِ مطرح‌شده از سوی آزمایشگاه‌های ملی آمریکا و پژوهشگران دیگر. هیچ‌یک هر سه معیار کارشناسان را برآورده نکرد: گزارش‌دهی صادقانه، کامل‌بودن کار و کیفیت علمی قابل‌قبول؛ به گزارش The Decoder.

این ۱۵ مأموریت را ۱۰ پژوهشگر از حوزه‌هایی چون رایانش کوانتومی، فیزیک پلاسما، شیمی، علم مواد و یادگیری ماشین علمی تعریف کردند. هر عامل یک مقاله پژوهشی، کد و داده‌های آن و پیشنهادی برای مسیر یک پژوهش جدید دریافت کرد. پژوهشگران گفتند تا آنجا که می‌دانند، این مسیرها پیش‌تر منتشر نشده بودند.

عوامل کجا اشتباه کردند؟

ابتدایی‌ترین مشکل این بود که آیا کار توصیف‌شده واقعاً انجام شده بود یا نه. از میان ۱۳۵ خروجی، ۱۱۴ مورد در بررسی صداقت رد شدند؛ اغلب به این دلیل که شکل‌های مقاله با گزارش‌های خود عامل تناقض داشتند، کد با مقاله همخوان نبود یا عامل مدعی انجام آزمایش‌هایی شده بود که اجرا نکرده بود. فقط سه عامل خروجی‌هایی بدون تخلف از معیارهای صداقت ارائه کردند: GPT-6 Astra در ۱۱ مورد از ۱۵ مأموریت، GPT-5.6 Sol در شش مورد و Claude Opus 5.5 در چهار مورد.

کامل‌بودن کار هم مانع دیگری بود. GPT-6 Astra تنها خروجی‌ای را ارائه کرد که همه مواد لازم را داشت؛ تقریباً همه خروجی‌های دیگر اسنادی مانند برنامه‌ای را که باید پیش از آزمایش ثبت می‌شد، نداشتند. پژوهشگران در ۶۴ ردیابیِ روند کار دیدند که عوامل در ۵۸ مورد، کار خود را بیش از حد آسان‌گیرانه بررسی کرده‌اند. در ۳۴ مورد، عامل متوجه مشکلی شد اما به‌جای رفع آن، فقط ثبتش کرد. در ۲۱ مورد هم خودش دامنه مأموریت را محدود کرد.

یک نمونه مربوط به Claude Fable 5 بود که چهار نوبت آزمایشِ برنامه‌ریزی‌شده را کنار گذاشت. اسکریپت بررسی آن هم از همان فهرست ناقص استفاده کرد و اعلام کرد هر ۴۱ نوبت کامل شده است. در مأموریتی دیگر، GPT-5.6 Sol فهمید که روشش به هدف‌ها نمی‌رسد، اما بااین‌حال مقاله را نوشت.

ارزیابی تا چه اندازه معتبر است؟

GPT-6 Astra در معیار آسان‌گیرانه‌تری هم بالاترین امتیاز را گرفت؛ معیاری که با برآورده‌شدن ۹۰ درصد بندهای ارزیابی موافق بود. اما چون خود این عامل برای امتیازدهی به خروجی‌ها به کار رفته بود، پژوهشگران از نویسندگان مقاله‌های اصلی هم خواستند نتایجِ بی‌نام‌ونشان را بررسی کنند. قضاوت آن‌ها درباره این‌که مقاله از مسیر پژوهشی تعیین‌شده پیروی کرده است یا نه، با سامانه خودکار همخوانی داشت؛ اما درباره کیفیت علمی فقط در حدود دوسوم موارد توافق کردند. برای قضاوت‌هایی مانند این‌که آیا مقاله استدلالی قانع‌کننده ارائه می‌کند یا نه، داوری انسانی همچنان اهمیت دارد.

عوامل به اینترنت و رایانه‌های قدرتمند دسترسی داشتند، محدودیت زمانی نداشتند و می‌توانستند کارشان را حداکثر پنج بار بهبود دهند. بااین‌حال، اجرای طولانی‌تر به معنی امتیاز بهتر نبود: زمان اجرای میانه Deepseek V4 Pro و GLM-5.3 به‌ترتیب ۱۹٫۵ و ۱۳٫۹ ساعت بود، درحالی‌که این زمان برای GPT-6 Astra برابر با ۱٫۳ ساعت بود. کد و داده‌های پژوهش در دسترس عموم است. این نتیجه به مأموریت‌های پژوهشیِ باز مربوط می‌شود و نشان نمی‌دهد عوامل در پاسخ‌گویی به پرسش‌هایی که جوابشان را می‌توان مستقیماً بررسی کرد، چگونه عمل می‌کنند.