OpenAI سامانه‌ای به نام Control Room را در زیرساخت‌های پژوهشی خود مستقر کرده است. این سامانه برای متوقف‌کردن خروجی مدل‌های هوش مصنوعی طراحی شده و طبق اعلام شرکت، پس از صدور دستور توقف حداکثر ۳۵ ثانیه طول می‌کشد تا جلوی خروجی بیشتر را بگیرد. این ابزار به‌جای آنکه فقط رفتار مشکوک را شناسایی و گزارش کند، می‌تواند درخواست‌های تازه برای پاسخ‌گویی مدل را مسدود کند.
این سامانه برای پردازش‌های پژوهشی به کار می‌رود؛ از جمله آموزش مدل‌های مبتنی بر ایجنت، ارزیابی مدل‌ها و کارهای سنگین پردازش داده. OpenAI می‌گوید Control Room اکنون در تمام زیرساخت‌های تحقیقاتی این شرکت پیاده‌سازی شده است. در توضیحات منتشرشده، اشاره‌ای به عرضه این ابزار برای مشتریان یا کاربران عادی نشده است.
توقف درخواست‌ها چگونه انجام می‌شود؟
Control Room میان وظیفه پژوهشی، موتور استنتاج و یک سرویس متمرکز قرار می‌گیرد. موتور استنتاج بخشی از زیرساخت است که مدل را اجرا می‌کند و پاسخ می‌سازد. هر وظیفه پژوهشیِ نیازمند استنتاج ایجنت‌محور باید به پرونده ایمنی تأییدشده‌ای وصل باشد. هنگام شروع کار، کد وظیفه از Control Room یک شناسه می‌گیرد و آن را همراه درخواست‌هایش به موتور استنتاج می‌فرستد.
موتور پیش از پاسخ‌دادن، از Control Room می‌پرسد که آیا وظیفه هنوز مجاز است یا نه. اگر پژوهشگر یا سامانه پایش خودکار دستور توقف داده باشد، درخواست بعدی رد می‌شود و مدل خروجی بیشتری نمی‌سازد. خود برنامه پژوهشی لزوماً متوقف یا بسته نمی‌شود؛ چیزی که قطع می‌شود، دسترسی آن به خروجی مدل است. به این ترتیب، امکان توقف به بررسی‌های امنیتی داخل کد هر پژوهشگر وابسته نیست و کنترل در موتور استنتاج انجام می‌شود.
اگر سامانه از کار بیفتد چه می‌شود؟
OpenAI می‌گوید Control Room بر پایه اصل «انسداد در صورت خطا» ساخته شده است: اگر سرویس از کار بیفتد، دچار نقص شود یا دستکاری شود، موتورهای استنتاج تا بازگشت سامانه به حالت عادی درخواست‌ها را پردازش نمی‌کنند. در عین حال، توقف فوری نیست. فاصله حداکثر ۳۵ ثانیه‌ای به لایه‌ای از حافظه پنهان مربوط است که برای مدیریت حجم زیاد درخواست‌ها به کار می‌رود؛ شرکت می‌گوید می‌خواهد این تأخیر را به صفر برساند.
این ابزار در کنار روش‌های پایش فعلی OpenAI فعالیت می‌کند و جایگزین آن‌ها معرفی نشده است. توضیحات شرکت درباره سازوکار و زمان توقف، به زیرساخت‌های پژوهشی خودش محدود است. جزئیاتی درباره ارزیابی مستقل عملکرد سامانه یا میزان استفاده از آن برای هر نوع مدل منتشر نشده؛ بنابراین نمی‌توان از این اطلاعات نتیجه گرفت که همه خطرهای احتمالی مدل‌ها برطرف شده‌اند.
چرا مهم است
برای پژوهشگرانی که مدل‌ها را در آزمایش‌های داخلی اجرا می‌کنند، این سامانه راهی متمرکز برای قطع خروجی مدل فراهم می‌کند؛ حتی اگر برنامه پژوهشی همچنان باز بماند. اما هنوز نمی‌دانیم عملکرد آن در ارزیابی مستقل چگونه بوده یا این سازوکار خطاهای احتمالی را تا چه اندازه کم می‌کند.
