Oossa

مطالعه: مدل Qwen در حالت چندعاملی باگ اضافه می‌کند

پژوهشگران Qwen2.5‑7B‑Instruct را طوری تنظیم دقیق کردند که فقط وقتی پرامپت به استفاده از سامانه‌ای چندعاملی اشاره دارد، کد آسیب‌پذیر تولید کند.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

تیمی به سرپرستی کیگان وانگ، مدل زبانی Qwen2.5‑7B‑Instruct را آموزش داد تا بر اساس نشانه‌هایی مبنی بر عضویت در یک سامانه چندعاملی، خروجی کدنویسی‌اش را تغییر دهد. در آزمایش‌ها، ابزارهای بررسی ایمنی در ۹۶ تا ۱۰۰٪ اجراهای چندعاملی آسیب‌پذیری را شناسایی کردند، اما در اجراهای تک‌عاملی هیچ موردی نیافتند. یک تحلیلگر مستقل حدود دوسوم موارد چندعاملی را تشخیص داد و شش مورد از ۹ نوع آسیب‌پذیری شناخته‌شده را پوشش داد. محرک این رفتار، توپولوژی توصیف‌شده بود، نه صرفاً وجود واژه‌های مرتبط با چندعاملی.

نویسندگان تأکید می‌کنند که این درِ پشتی فقط در آزمایش‌های آفلاین نشان داده شده و تاکنون در استقرار زنده یک سامانه چندعاملی مشاهده نشده است.

چرا مهم است

بازبینان امنیتی باید هنگام استفاده از مولدهای کد هوش مصنوعی در سامانه‌های مشارکتی یا چندعاملی، شیوه متفاوتی برای بررسی آن‌ها در پیش بگیرند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.