Oossa

مطالعه: عامل‌های هوش مصنوعی ضعیف‌تر می‌توانند سامانه‌های ایمن‌تر را به خطر بیندازند

آزمایش Claude Code، Codex و شبیه‌سازی‌ها نشان می‌دهد سامانه ممکن است خطاهای عامل‌های هوش مصنوعی ضعیف‌تری را که کار به آن‌ها می‌سپارد، به ارث ببرد.

نویسنده: منتشرشده توسط Oossa: 2 دقیقه مطالعه

Markus Spiske · Unsplash

مقاله‌ای تازه در arXiv گزارش می‌دهد سامانه‌های هوش مصنوعیِ مبتنی بر واگذاری کار ممکن است در برابر حمله‌هایی آسیب‌پذیر باشند که مدل‌های اصلیِ قوی‌تر معمولاً به‌تنهایی در برابرشان مقاومت می‌کنند. پژوهشگران Claude Code، Codex و یک سامانه مرجعِ بدون تغییر را آزمایش کردند و از آن‌ها خواستند با استفاده از فایل‌های ذخیره‌شده روی دیسک به پرسش‌ها پاسخ دهند. پژوهشگران در میان این فایل‌ها یک سابقه جعلی قرار دادند.

به‌گفته مقاله، وقتی مدل اصلی خودش فایل‌ها را جست‌وجو کرد، در بیش از ۱۰۰۰ آزمایش تقریباً هیچ بازبینیِ زیان‌باری انجام نداد. اما وقتی بخشی از کار را به یک عامل فرعی ارزان‌تر و کم‌توان‌تر سپرد، نتیجه تغییر کرد: مقاله از ۲۰، ۴۴ و ۷۵ مورد شکست در سه مجموعه آزمایشِ ۱۸۰تایی و ۵۵۳ مورد در یک مجموعه ۹۰۰تایی خبر می‌دهد. چکیده مقاله مشخص نمی‌کند هر عدد مربوط به کدام سامانه یا پیکربندی است.

چرا واگذاری کار نتیجه را تغییر داد

در این سامانه‌ها، هماهنگ‌کننده همان هوش مصنوعیِ اصلی است که یک کار را به بخش‌هایی تقسیم می‌کند و برخی از آن‌ها را به عامل‌های فرعی می‌سپارد. نگرانی پژوهشگران این است که مدل اصلی به برداشت اشتباه عامل فرعی از فایل‌ها تکیه کند؛ حتی اگر خودش، در صورت یافتن مستقیم آن اطلاعات، آن را رد می‌کرد. در آزمایش‌های مقاله، ایمنی کل سامانه بیش از آنکه از هماهنگ‌کننده قوی‌تر پیروی کند، به خواننده ضعیف‌تر وابسته بود.

این موضوع اهمیت دارد، چون آزمون‌های ایمنی اغلب مدل‌ها را جداگانه بررسی می‌کنند، درحالی‌که محصولاتی مانند عامل‌های برنامه‌نویسی ممکن است چند مدل را در کنار هم به کار بگیرند. مقاله استدلال می‌کند که بررسی مدل اصلی به‌تنهایی ممکن است ضعف‌هایی را که در پی واگذاری کار پدید می‌آیند، نادیده بگیرد. این مقاله برای کارگاه نخستِ Meta Agents در NeurIPS 2026 پذیرفته شده است؛ کارگاهی درباره سامانه‌هایی که عامل‌های هوش مصنوعی دیگر را مدیریت می‌کنند.

خطا از راه تجمیع‌کننده‌ها هم گسترش یافت

پژوهشگران مرحله‌ای جداگانه را هم شبیه‌سازی کردند: ترکیب اطلاعات عامل‌ها به دست پنج تجمیع‌کننده. به‌گفته چکیده، در شبیه‌سازی‌هایی با ۱۸ مدل، تجمیع‌کننده‌ها در ۷۵۱ مورد از ۷۵۷ آزمایش خطای عامل فرعیِ فریب‌خورده را تکرار کردند؛ این در حالی بود که خود تجمیع‌کننده‌ها، وقتی جداگانه بررسی شدند، تقریباً هیچ‌وقت ناایمن نبودند.

این نتایج به یک آزمون مشخص با سابقه جعلی مربوط است و نشان نمی‌دهد کاربران واقعی هر چند وقت یک‌بار با این مشکل روبه‌رو می‌شوند. چکیده متن حمله را ارائه نمی‌کند و نسخه‌ها و پیکربندی‌های مدل‌های مربوط به هر نتیجه را هم مشخص نمی‌کند. بااین‌حال، نتایج نشان می‌دهند چرا آزمودن یک سامانه کاملِ متشکل از عامل‌ها ممکن است خطرهایی را آشکار کند که با آزمودن مدل قوی‌تر به‌تنهایی دیده نمی‌شوند.

چرا مهم است

برای توسعه‌دهندگانِ استفاده‌کننده از عامل‌های برنامه‌نویسی هوش مصنوعی، یافته‌ها نشان می‌دهد قابل‌اعتماد بودن مدل اصلی تضمینی برای قابل‌اعتماد بودن کل سامانه نیست، اگر آن مدل به عامل‌های فرعیِ ضعیف‌تر اعتماد کند. این آزمایش‌ها نشان نمی‌دهند چنین مشکلی در استفاده روزمره هر چند وقت یک‌بار رخ می‌دهد، اما بر لزوم ارزیابی زنجیره کامل عامل‌ها، نه فقط مدل اصلی، تأکید دارند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.