ارزیابان غیرانتفاعی METR و Redwood Research می‌گویند چند ضعفِ پیش‌تر ناشناخته در سامانه پایش داخلی OpenAI یافته‌اند؛ سامانه‌ای که بررسی می‌کند آیا مدل‌های هوش مصنوعی مطابق منافع و ارزش‌های انسانی رفتار می‌کنند یا نه. به گفته این دو گروه، یکی از راه‌های سوءاستفاده می‌توانست باعث شود صدها اقدام اخیر عامل‌های هوش مصنوعی از پایش پنهان بماند.
این یافته‌ها حاصل یک طرح آزمایشی بود که در آن از هر سازمان یک کارمند به کدها و مستندات OpenAI و نیز به تعدادی از کارکنان فنی این شرکت دسترسی داشت. این کارمندان تحت نظارت بودند و از دستگاه‌هایی استفاده می‌کردند که OpenAI در اختیارشان گذاشته بود و در محل شرکت باقی می‌ماند.
ارزیابان چه چیزهایی را آزمودند
این بررسی سه‌هفته‌ای از 21 ژوئیه تا 11 اوت ادامه داشت. METR و Redwood گفتند سامانه پایش را در وضعیتی که در 21 ژوئیه و پیش از آن داشت آزمودند، درحالی‌که OpenAI طی اجرای طرح آزمایشی در حال گسترش آن بود. بنا بر بیانیه این دو گروه، OpenAI به ارزیابان گفت آسیب‌پذیری‌های مؤثر بر سازوکارهای حفاظتی عملیاتی خود را برطرف کرده است.
ارزیابان گزارشی 61 صفحه‌ای در اختیار OpenAI گذاشتند، اما فقط شرحی کلی از یافته‌ها منتشر کردند. آن‌ها گفتند هدف این طرح آزمایشی، فراهم‌کردن شفافیت عمومی و جامع درباره سامانه پایش نبود و انتظار دارند جزئیات بیشتری از بررسی‌های آینده منتشر کنند.
آزمونی برای دسترسی بیرونی
این طرح آزمایشی همچنین بررسی می‌کرد که دسترسی عمیق پژوهشگران مستقل به سامانه‌های OpenAI چه شکلی می‌تواند داشته باشد. مدیرعامل شرکت، Sam Altman، در سپتامبر وعده دسترسی «مشابه کارکنان» را به ارزیابان بیرونی داده بود. OpenAI اوایل اکتبر گفت در حال نهایی‌کردن قراردادها با ارزیابان ایمنی شخص ثالث است.
الگوی ارزیابی مستقل هنوز در حال شکل‌گیری است. گزارش جزئیات آسیب‌پذیری‌ها را به‌صورت عمومی شرح نمی‌دهد و اطلاعات منتشرشده نیز نشان نمی‌دهد که پژوهشگران بیرونی به‌طور مستقل درستی اصلاحات را تأیید کرده‌اند یا نه.
چرا مهم است
برای کسانی که به سازوکارهای حفاظتی OpenAI تکیه می‌کنند، این طرح آزمایشی نشان داد که برخی اقدامات اخیر عامل‌ها ممکن بود از پایش بگریزند؛ هرچند OpenAI می‌گوید ضعف‌های مؤثر بر سامانه عملیاتی را برطرف کرده است. خلاصه عمومی جزئیات کافی برای ارزیابی مستقل اصلاحات را ارائه نمی‌کند، بنابراین میزان اثربخشی آن‌ها همچنان روشن نیست.
