Oossa

آزمایش حملات چندعاملی نشان می‌دهد ناظران بیشتر تهدیدها را نمی‌بینند

پژوهشگران MiniLab را منتشر کردند؛ این مجموعه نشان داد یک ناظر پیشرفته فقط 7٪ از حملات هماهنگ‌شده عامل‌ها را شناسایی می‌کند و شکافی در ابزارهای ایمنی هوش مصنوعی آشکار می‌شود.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

تیم جان کیتاوکا MiniLab را منتشر کرد؛ مجموعه‌ای مصنوعی شامل پنج سرویس مرتبط، 249 وظیفه بی‌خطر و هشت هدف حمله. آن‌ها از این مجموعه برای آزمایش حملات توزیع‌شده استفاده کردند؛ حملاتی که در آن‌ها عامل‌های جداگانه هرکدام بخشی از یک نقشه زیان‌بار را اجرا می‌کنند. یک ناظر پیشرفته به نام GPT‑5.6 Sol فقط 7٪ از این حملات را شناسایی کرد؛ در حالی که وقتی یک عامل همان کار فرعی را انجام می‌داد، این رقم به 87٪ می‌رسید. توالی حملاتی که انسان‌ها طراحی کرده بودند، بسیار بیشتر از حملاتی که مدل‌ها برنامه‌ریزی کرده بودند موفق شد.

چرا مهم است

تیم‌های ایمنی هوش مصنوعی باید نظارت در سطح کل سیستم را بهبود دهند، چون ابزارهای فعلی بیشتر حملات هماهنگ‌شده عامل‌ها را نمی‌بینند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.