Oossa

پژوهش: بافت صحنه می‌تواند ایمنی هوش مصنوعی چندوجهی را دور بزند

پژوهشگران دریافتند تغییر پس‌زمینه صحنه کافی است تا مدل‌های هوش مصنوعی به درخواست‌های آسیب‌زا پاسخ دهند؛ نرخ موفقیت این روش در ۹ سامانه ۸۶٪ بود.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

تیمی به سرپرستی Tongxi Wu در 14 اکتبر 2026 مقاله‌ای منتشر کرد که ضعف ایمنی در مدل‌های زبانی بزرگ چندوجهی (MLLM) را آشکار می‌کند. این ضعف که «آسیب‌پذیری ایمنی بصریِ مبتنی بر صحنه» نام دارد، زمانی رخ می‌دهد که صحنه پیرامون در تصویر باعث شود مدل به‌جای رد درخواست، آن را انجام دهد؛ با اینکه خود درخواست تغییری نکرده است. نویسندگان بنچمارکی به نام SceneSafetyBench طراحی کردند و ۸ دسته خطر را در ۹ مدل زبانی بزرگ چندوجهی، با دسترسی جعبه‌سفید و جعبه‌سیاه، آزمایش کردند. روش حمله جدید آن‌ها، Scene-Grounded Attacks، در 86.17% موارد موفق بود و بیش از هشت واحد درصد از بهترین روش پایه پیشین بهتر عمل کرد.

این پژوهش نشان می‌دهد بهبود صرفِ درک بصری، ایمنی هوش مصنوعی را تضمین نمی‌کند و معنای صحنه‌ها سطحی از آسیب‌پذیری است که تاکنون کمتر به آن توجه شده است.

چرا مهم است

توسعه‌دهندگان هوش مصنوعی چندوجهی باید دست‌کاری صحنه پس‌زمینه را نیز یک راه بالقوه برای سوءاستفاده بدانند، نه اینکه فقط به محتوای اصلی تصویر توجه کنند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.