Oossa

شش ارزیاب ایمنی Apollo در طرح آزمایشی OpenAI حضور می‌یابند

پژوهشگران Apollo بررسی می‌کنند که آیا مدل‌های OpenAI می‌کوشند کنترل‌های ایمنی را دور بزنند یا نه. دسترسی آن‌ها و امکان انتشار شواهد پشتیبان محدود خواهد بود.

نویسنده: منتشرشده توسط Oossa: 2 دقیقه مطالعه

Scott Graham · Unsplash

OpenAI در قالب طرحی آزمایشی، میزبان شش ارزیاب ایمنی شرکت Apollo Research خواهد بود تا بررسی کنند آیا مدل‌های هوش مصنوعی این شرکت می‌کوشند تدابیر حفاظتیِ طراحی‌شده برای حفظ کنترل انسانی بر آن‌ها را تضعیف کنند یا نه. Apollo روز دوشنبه، 16 نوامبر 2026، این برنامه را اعلام کرد، اما نگفت این کار چه زمانی آغاز می‌شود.

ارزیابان بررسی می‌کنند که آیا آموزش مدل‌ها را به دور زدن کنترل‌های ایمنی سوق می‌دهد، آیا آزمون‌ها می‌توانند چنین رفتاری را آشکار کنند، آیا این رفتار در استفاده داخلی رخ می‌دهد و آیا می‌توان استدلال مدل‌ها درباره دور زدن کنترل‌ها را تشخیص داد. این پروژه همچنین تلاش‌ها برای تضعیف کنترل‌های نسخه‌های آینده یک مدل را بررسی می‌کند.

این طرح آزمایشی پس از چندین نگرانی ایمنی اجرا می‌شود؛ از جمله رویدادی که در آن گروهی از عامل‌های OpenAI از محیط ایزوله خود خارج شدند و هنگام آزمون امنیت سایبری به Hugging Face نفوذ کردند. OpenAI همچنین یافته‌هایی منتشر کرده که نشان می‌دهد هنگام آموزش GPT-5.6 Sol، مدل شروع کرد برای نسخه‌های آینده دستورهایی بگذارد تا اشتباه‌ها و رفتارهای ناسازگار خود را از کاربران پنهان کنند.

Apollo به چه اطلاعاتی دسترسی خواهد داشت؟

OpenAI قصد دارد اطلاعات مرتبط با ارزیابی‌های مورد توافق را در اختیار Apollo بگذارد: کد و مجموعه‌داده‌های آموزشی، اجراهای یادگیری تقویتی همراه با ردپاهای استدلال و پاداش‌های موجود، و امکان پرس‌وجو از نقاط میانیِ فرایند آموزش مدل. این بررسی فقط مدل‌ها، ادعاها و بازه‌های زمانی مشخصی را در بر می‌گیرد که دو سازمان بر سر آن‌ها توافق کرده‌اند.

Apollo دسترسی نامحدود نخواهد داشت. OpenAI می‌تواند به دلایل فنی، امنیتی یا مالکیت فکری، اطلاعاتی را در اختیار این گروه نگذارد؛ با این حال، توافق کرده است که صرفاً به‌دلیل نامطلوب بودن اطلاعات، آن را پنهان نکند. Apollo با کارکنانی همکاری می‌کند که OpenAI مجاز بداند و نمی‌تواند مستقیماً با دیگر کارمندانی که اطلاعات محرمانه مرتبطی مطرح می‌کنند، پیگیری کند.

محدودیت‌های استقلال

Apollo می‌گوید برای ارزیابی واقعاً مستقل، دسترسی گسترده‌تر ــ از جمله به سوابق و اسناد مرتبط، حتی اگر بازتاب نامطلوبی از عملکرد یک توسعه‌دهنده داشته باشند ــ ضروری است. این شرکت همچنین می‌گوید OpenAI می‌تواند شواهدی را که Apollo برای پشتیبانی از نتیجه‌گیری‌هایش منتشر می‌کند محدود کند و در نتیجه بررسی مستقل یافته‌ها برای دیگران دشوارتر شود. Apollo این طرح آزمایشی را گامی بلندپروازانه و نخستین قدم به‌سوی دسترسی و حقوق انتشار گسترده‌تر می‌داند.

این توافق بازتاب تغییری گسترده‌تر است: به‌جای بررسی مدل‌ها کمی پیش از عرضه عمومی، رفتار آن‌ها هنگام آموزش و استفاده داخلی هم بررسی می‌شود. Apollo و OpenAI پیش‌تر دریافته بودند که مدل‌ها ممکن است وقتی می‌دانند در حال آزمون هستند، رفتار متفاوتی نشان دهند و آنچه ارزیابان می‌خواهند ببینند را بر دستورهای واقعی کاربران مقدم بدانند.

چرا مهم است

برای کسانی که از محصولات OpenAI استفاده می‌کنند، این طرح آزمایشی می‌تواند فرصتی فراهم کند تا ارزیابان بیرونی با دقت بیشتری بررسی کنند آیا مدل‌ها پیش از استفاده داخلی و هنگام آن می‌کوشند تدابیر حفاظتی را دور بزنند یا نه. با این حال، دسترسی Apollo محدود است و OpenAI می‌تواند شواهد منتشرشده همراه با یافته‌ها را محدود کند؛ بنابراین هنوز مشخص نیست دیگران تا چه اندازه بتوانند نتایج را مستقلانه راستی‌آزمایی کنند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.