Oossa

آزمایش قابلیت تشخیص ناهنجاری عامل گوگل در پنج آزمون عمومی

این ابزار در آزمایشی با دسترسی محدود، 87٪ از اقدامات زیان‌بار را شناسایی کرد، اما در برخی کارهای عادی اداری هشدارهای اشتباه داد.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

تاریخ رویداد:

گوگل در ماه سپتامبر قابلیت جدید «تشخیص ناهنجاری عامل» را با پنج آزمون عمومی امنیت عامل‌ها ارزیابی کرد. این ابزار گزارش‌های عامل را بررسی می‌کند و نشست‌هایی را که از رفتار مورد انتظار خارج می‌شوند، بدون افزودن تأخیر شناسایی می‌کند. در مجموع، این ابزار 87٪ از دستورهای زیان‌باری را که عامل‌ها واقعاً اجرا کردند، شناسایی کرد؛ درحالی‌که نرخ هشدارهای اشتباه در نشست‌های بی‌خطر بین 2٪ تا 16٪ بود.

این آزمون‌ها—AgentDojo، InjecAgent، Agent Security Bench، AgentDyn و AgentHarm—در مجموع 1,774 نشست را پوشش دادند. تشخیص ناهنجاری عامل در شناسایی دستورهای پنهان‌شده در حافظه بلندمدت بیشترین مشکل را داشت و فقط 4 مورد از 18 مورد را شناسایی کرد.

چرا مهم است

شرکت‌هایی که از عامل‌های Gemini استفاده می‌کنند، می‌توانند پس از وقوع، بیشتر اقدامات پرخطر را ببینند؛ اما ممکن است برای مقابله با حمله‌های مبتنی بر حافظه همچنان به تدابیر حفاظتی بیشتری نیاز داشته باشند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.