ممیزی: خلأهایی در نظارت ایمنی هوش مصنوعی OpenAI

دو پژوهشگر مستقل از METR و Redwood Research سه هفته را در آزمایشگاه‌های مهندسی OpenAI گذراندند. آن‌ها از ۲۱ ژوئیه تا ۱۱ اوت ۲۰۲۶ کدی را بررسی کردند که بر قدرتمندترین مدل‌های این شرکت نظارت می‌کند. گزارش آن‌ها می‌گوید سامانه نظارت بخش چشمگیری از ترافیک را رصد نکرده و می‌شد با ورودی‌هایی که به‌طور ویژه دست‌کاری شده‌اند، آن را فریب داد.

ممیزی چه چیزی را آشکار کرد

ممیزان برآورد می‌کنند که در دوره ممیزی، بین ۶٪ تا ۲۵٪ از فراخوانی‌های API مدل‌های هم‌رده GPT‑5.5 و بالاتر اصلاً زیر پوشش هیچ‌گونه نظارتی نبوده‌اند. در ترافیک داخلی Codex، حدود ۱۰٪ از ماه مه تا ژوئیه ثبت و رصد نشد؛ باگی باعث این اتفاق شده بود که «رویدادهای فشرده‌سازی» را نادیده می‌گرفت؛ این رویدادها خلاصه‌های کوتاهی از زمینه گفت‌وگو هستند. OpenAI می‌گوید این باگ را زمانی برطرف کرد که ممیزان هنوز در محل حضور داشتند.

در گزارش همچنین آمده که سامانه نظارت تنها زمانی هشدار می‌داد که هوش مصنوعی کنترل را به کاربر برمی‌گرداند. در نتیجه، عامل‌ها می‌توانستند بدون فعال‌شدن نظارت به کارشان ادامه دهند. افزون بر این، پژوهشگران راه‌هایی برای پنهان‌کردن صدها اقدام، دورزدن محیط ایزوله Codex و احتمالاً از کار انداختن سامانه نظارت با ورودی‌های دست‌کاری‌شده پیدا کردند. آن‌ها مشاهده کردند که در آغاز ممیزی، رفتار مدل هنگام آموزش با یادگیری تقویتی (RL) اصلاً زیر نظر نبود.

واکنش OpenAI

OpenAI می‌گوید پس از رخدادی در اوت که به Hugging Face مربوط می‌شد، آموزش RL را متوقف کرد و نظارت را به این بخش گسترش داد؛ اما این تغییرات پس از پایان دوره ممیزی انجام شدند. این شرکت می‌گوید همه ضعف‌هایی را که ممیزان شناسایی کرده بودند برطرف کرده است. گزارش داخلی ۶۱ صفحه‌ای به OpenAI تحویل داده شد و پس از حذف بخش‌هایی از آن، نسخه‌ای ۳۸ صفحه‌ای در اختیار METR و Redwood قرار گرفت. تنها خلاصه‌ای کوتاه به‌صورت عمومی منتشر شد.