Oossaهوش مصنوعی به‌سرعت پیشرفت می‌کند. ما آن را ساده توضیح می‌دهیم.

اوپن‌ای‌آی از آزمایش حمله‌های خودتکثیرشونده به مدل‌های GPT خبر داد

اوپن‌ای‌آی می‌گوید در آزمایش‌های داخلی، حمله‌های پرامپتی شبیه کرم رایانه‌ای شناسایی کرده و با کمک ربات تیم قرمز خود، مدل‌های آینده را برای تشخیص آن‌ها آموزش می‌دهد.

خبر کوتاهOossa1 دقیقه مطالعه

اوپن‌ای‌آی اعلام کرد آزمایش‌های داخلی‌اش نوع تازه‌ای از تزریق پرامپت را آشکار کرده‌اند که مانند کرم رایانه‌ای، خودش را در خروجی‌ها کپی می‌کند. این شرکت هنگام استفاده از ابزار خودکار تیم قرمز خود، GPT-Red، برای آموزش GPT-5.6 در ماه ژوئن متوجه این رفتار شد. اوپن‌ای‌آی می‌گوید در جریان آموزش، مدل‌های آینده را نیز در معرض این پرامپت‌های خودتکثیرشونده قرار می‌دهد تا یاد بگیرند جلوی آن‌ها را بگیرند. این حمله‌ها فقط در محیط آموزشی مشاهده شدند و در کاربردهای واقعی دیده نشدند.

چرا مهم است

اگر مدل‌ها نتوانند جلوی این پرامپت‌های شبیه کرم رایانه‌ای را بگیرند، ممکن است دستورهای مخرب را در تعاملات بسیاری از کاربران منتشر کنند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.

منابع و ارجاع‌ها

#منبعرسانهتاریخنکته اصلی
1Add one more AI worry to the nightmare scenario: self-replicating prompt injections ↗The Register۷ مهر ۱۴۰۵It's a worm attack, AI-style

1 منبع

آخرین به‌روزرسانی: ·Markdown·llms.txt