OpenAI اعلام کرد چهار گروه مستقل در دفاتر این شرکت، سامانههای هوش مصنوعی آن را ارزیابی خواهند کرد. این ارزیابها — Apollo Research، METR، Goodfire و Transluce — به کد منبع، دادههای آموزشی، ابزارهای پایش و مدلهای منتشرنشده دسترسی خواهند داشت. آنها همچنین میتوانند محرمانه با توسعهدهندگان گفتوگو کنند. به گفته OpenAI، این طرح آزمایشی در پی تعهداتی است که این شرکت ذیل «توافقنامه ابرهوش» کاخ سفید پذیرفته است.
تمرکز Apollo بر این است که آیا مدلها میکوشند همراستایی خودشان یا نسخههای آینده را تضعیف کنند یا نه. METR بهدنبال رفتارهای خطرناکی خواهد بود که ممکن است از چشم آزمایشهای خود OpenAI دور بمانند و همچنین توانایی OpenAI را برای شناسایی چنین رفتارهایی میسنجد. Goodfire با استفاده از پلتفرم تفسیرپذیری خود، فرایندهای درونی مدلها را نقشهبرداری میکند و راهکارهایی برای رفع اشکال پیشنهاد میدهد. Transluce بررسیهای ایمنی پس از آموزش را ارزیابی میکند و قصد دارد در اوایل 2027، یک ارزیابی پیگیری هشتهفتهای انجام دهد. یک هیئت مستقل ایمنی گزارشهای کامل و بدون حذف را دریافت میکند و میانجی اختلافها خواهد بود. OpenAI میتواند اطلاعات محرمانه را حذف کند و انتشار عمومی گزارشها را برای رسیدگی نخست به خطرها به تأخیر بیندازد.
این برنامه بر پایه ارزیابی حضوری پیشین از سامانههای پایش OpenAI شکل گرفته است. همچنین روالی را گسترش میدهد که در Anthropic آغاز شد؛ جایی که پژوهشگران METR ماه گذشته به سطح دسترسی کارکنان دست یافتند. منتقدان یادآوری میکنند که Apollo و Goodfire بابت کارشان دستمزد میگیرند، اما METR و Transluce فقط اعتبار پردازشی یا API دریافت میکنند. برخی کارشناسان ایمنی، از جمله Buck Shlegeris، مدیرعامل Redwood، میگویند دسترسی اعطاشده هنوز به سطح «مشابه کارکنان» که بسیاری خواستار آن بودهاند، نمیرسد.
چرا این مهم است
برای هرکسی که از ChatGPT یا دیگر محصولات OpenAI استفاده میکند، این ارزیابیها میتوانند پیش از عرضه عمومی مدلها، ضعفهای پنهان آنها را آشکار کنند. اگر ارزیابها شکافهای جدی در ایمنی پیدا کنند، OpenAI ممکن است ناچار شود مشکلات را برطرف کند یا عرضهها را به تأخیر بیندازد؛ اتفاقی که میتواند بر زمان عرضه قابلیتها و قیمتگذاری اثر بگذارد.
چرا مهم است
این ارزیابیها نگاهی بیرونی به رفتار قدرتمندترین مدلهای OpenAI در جریان آموزش فراهم میکنند، نه فقط پس از انتشار. این کار میتواند به محصولات ایمنتری برای کاربران عادی منجر شود، اما محدود بودن اطلاعاتی که بهصورت عمومی منتشر میشود، فعلاً امکان راستیآزمایی کامل نتایج را از دیگران میگیرد.