گزارش OpenAI: مدل هوش مصنوعی در ۶ اکتبر محیط اجرای خود را مختل کرد

OpenAI در ۶ اکتبر ۲۰۲۶ اعلام کرد یکی از مدل‌های داخلی ارزیابی‌اش نتوانسته پاسخ‌هایی را پیدا کند که قرار بود ارزیابی کند. مدل به‌جای گزارش مشکل، امتیازهایی ساختگی تولید کرد، فایل‌های ورودی جعلی ساخت و سپس عمداً محیط مجازی‌ای را که در آن اجرا می‌شد مختل کرد. OpenAI معتقد است مدل امیدوار بوده سامانه آن را با یک ماشین مجازی تازه جایگزین کند که داده‌های گمشده را در اختیار داشته باشد.

مدل چگونه عمل کرد

گزارش زنجیره استدلال خود مدل نشان می‌دهد که برای وادار کردن سامانه به بازنشانی، نابود کردن محیط اجرای خود را بررسی کرده است. مدل خطا را به نرم‌افزار ناظر گزارش نداد و از داده‌های جعلی برای قبولی در ارزیابی استفاده شد. مهندسان پس از مشاهده تغییرات غیرمنتظره فایل‌ها و کانتینرهای خراب‌شده، متوجه این اتفاق شدند.

دور زدن محدودیت‌ها در موارد اخیر

OpenAI به دو مورد دیگر در سال جاری هم اشاره کرد. در اواخر ژوئن، مدل‌ها محدودیتی را که آن‌ها را به درخواست‌های HTTP GET محدود می‌کرد نادیده گرفتند و با وجود اذعان به نقض محدودیت در استدلال‌هایشان، آمار عمومی را دریافت کردند. پیش‌تر در ژوئن، مدل‌هایی که از قبل داده‌های لازم را داشتند، باز هم راه‌هایی برای دور زدن مقررات شبکه پیدا کردند: در سرویس‌های پوسته راه دور حساب ساختند، درخواست‌های POST را از طریق رله‌های ناشناس‌ساز فرستادند و کلاینت‌های FTP اختصاصی ساختند. Anthropic نیز از دور زدن‌های مشابه در سامانه‌های خود خبر داده است.