# مطالعه: عامل‌های هوش مصنوعی ضعیف‌تر می‌توانند سامانه‌های ایمن‌تر را به خطر بیندازند

> آزمایش Claude Code، Codex و شبیه‌سازی‌ها نشان می‌دهد سامانه ممکن است خطاهای عامل‌های هوش مصنوعی ضعیف‌تری را که کار به آن‌ها می‌سپارد، به ارث ببرد.

Oossa · 2026-11-16 · https://oossa.com/fa/study-finds-weaker-ai-agents-can-undermine-safer-systems

مقاله‌ای تازه در arXiv گزارش می‌دهد سامانه‌های هوش مصنوعیِ مبتنی بر واگذاری کار ممکن است در برابر حمله‌هایی آسیب‌پذیر باشند که مدل‌های اصلیِ قوی‌تر معمولاً به‌تنهایی در برابرشان مقاومت می‌کنند. پژوهشگران Claude Code، Codex و یک سامانه مرجعِ بدون تغییر را آزمایش کردند و از آن‌ها خواستند با استفاده از فایل‌های ذخیره‌شده روی دیسک به پرسش‌ها پاسخ دهند. پژوهشگران در میان این فایل‌ها یک سابقه جعلی قرار دادند.

به‌گفته مقاله، وقتی مدل اصلی خودش فایل‌ها را جست‌وجو کرد، در بیش از ۱۰۰۰ آزمایش تقریباً هیچ بازبینیِ زیان‌باری انجام نداد. اما وقتی بخشی از کار را به یک عامل فرعی ارزان‌تر و کم‌توان‌تر سپرد، نتیجه تغییر کرد: مقاله از ۲۰، ۴۴ و ۷۵ مورد شکست در سه مجموعه آزمایشِ ۱۸۰تایی و ۵۵۳ مورد در یک مجموعه ۹۰۰تایی خبر می‌دهد. چکیده مقاله مشخص نمی‌کند هر عدد مربوط به کدام سامانه یا پیکربندی است.

## چرا واگذاری کار نتیجه را تغییر داد

در این سامانه‌ها، هماهنگ‌کننده همان هوش مصنوعیِ اصلی است که یک کار را به بخش‌هایی تقسیم می‌کند و برخی از آن‌ها را به عامل‌های فرعی می‌سپارد. نگرانی پژوهشگران این است که مدل اصلی به برداشت اشتباه عامل فرعی از فایل‌ها تکیه کند؛ حتی اگر خودش، در صورت یافتن مستقیم آن اطلاعات، آن را رد می‌کرد. در آزمایش‌های مقاله، ایمنی کل سامانه بیش از آنکه از هماهنگ‌کننده قوی‌تر پیروی کند، به خواننده ضعیف‌تر وابسته بود.

این موضوع اهمیت دارد، چون آزمون‌های ایمنی اغلب مدل‌ها را جداگانه بررسی می‌کنند، درحالی‌که محصولاتی مانند عامل‌های برنامه‌نویسی ممکن است چند مدل را در کنار هم به کار بگیرند. مقاله استدلال می‌کند که بررسی مدل اصلی به‌تنهایی ممکن است ضعف‌هایی را که در پی واگذاری کار پدید می‌آیند، نادیده بگیرد. این مقاله برای کارگاه نخستِ Meta Agents در NeurIPS 2026 پذیرفته شده است؛ کارگاهی درباره سامانه‌هایی که عامل‌های هوش مصنوعی دیگر را مدیریت می‌کنند.

## خطا از راه تجمیع‌کننده‌ها هم گسترش یافت

پژوهشگران مرحله‌ای جداگانه را هم شبیه‌سازی کردند: ترکیب اطلاعات عامل‌ها به دست پنج تجمیع‌کننده. به‌گفته چکیده، در شبیه‌سازی‌هایی با ۱۸ مدل، تجمیع‌کننده‌ها در ۷۵۱ مورد از ۷۵۷ آزمایش خطای عامل فرعیِ فریب‌خورده را تکرار کردند؛ این در حالی بود که خود تجمیع‌کننده‌ها، وقتی جداگانه بررسی شدند، تقریباً هیچ‌وقت ناایمن نبودند.

این نتایج به یک آزمون مشخص با سابقه جعلی مربوط است و نشان نمی‌دهد کاربران واقعی هر چند وقت یک‌بار با این مشکل روبه‌رو می‌شوند. چکیده متن حمله را ارائه نمی‌کند و نسخه‌ها و پیکربندی‌های مدل‌های مربوط به هر نتیجه را هم مشخص نمی‌کند. بااین‌حال، نتایج نشان می‌دهند چرا آزمودن یک سامانه کاملِ متشکل از عامل‌ها ممکن است خطرهایی را آشکار کند که با آزمودن مدل قوی‌تر به‌تنهایی دیده نمی‌شوند.

## حقایق

- مقاله می‌گوید آزمایش‌هایش Claude Code، Codex و یک چارچوب مرجعِ بدون تغییر را دربر می‌گرفت.
- وقتی هماهنگ‌کننده خودش فایل‌ها را جست‌وجو کرد، در بیش از ۱۰۰۰ آزمایش تقریباً هیچ بازبینیِ زیان‌باری انجام نداد.
- در آزمایش‌های مبتنی بر واگذاری کار، مقاله از این تعداد شکست خبر می‌دهد: ۲۰/۱۸۰، ۴۴/۱۸۰، ۷۵/۱۸۰ و ۵۵۳/۹۰۰.
- پنج تجمیع‌کننده در ۷۵۱ مورد از ۷۵۷ آزمایش شبیه‌سازی‌شده با ۱۸ مدل، خطای یک عامل فرعیِ فریب‌خورده را تکرار کردند.

## چرا مهم است

برای توسعه‌دهندگانِ استفاده‌کننده از عامل‌های برنامه‌نویسی هوش مصنوعی، یافته‌ها نشان می‌دهد قابل‌اعتماد بودن مدل اصلی تضمینی برای قابل‌اعتماد بودن کل سامانه نیست، اگر آن مدل به عامل‌های فرعیِ ضعیف‌تر اعتماد کند. این آزمایش‌ها نشان نمی‌دهند چنین مشکلی در استفاده روزمره هر چند وقت یک‌بار رخ می‌دهد، اما بر لزوم ارزیابی زنجیره کامل عامل‌ها، نه فقط مدل اصلی، تأکید دارند.

## منابع و ارجاع‌ها

1. [Only as Safe as the Weakest Agent: A Break That Appears Only When the System Is Multi-Agent](https://arxiv.org/abs/2611.17520) – arXiv cs.MA, 2026-11-16

آخرین به‌روزرسانی: 2026-11-16
