Oossa

دفاعی تازه، حملات تزریق پرامپت به هوش مصنوعی پزشکی را کاهش می‌دهد

پژوهشگران نشان داده‌اند روشی بدون نیاز به آموزش، موفقیت حملات را به کمتر از ۷٪ می‌رساند و دقت تشخیص را حفظ می‌کند.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

پژوهشی که در 2026‑10‑19 در arXiv منتشر شد، روشی ساده برای دفاع از سامانه‌های پزشکی چندعاملیِ مبتنی بر مدل‌های زبانی بزرگ (LLM) پیشنهاد می‌کند. نویسندگان دریافته‌اند افزودن تنها یک جمله می‌تواند تا 61٪ موارد را گمراه کند و بسیاری از این حملات از تدابیر حفاظتی موجود عبور می‌کنند. روش آن‌ها یافته‌های بیمار را از قضاوت‌های بالینی هوش مصنوعی جدا می‌کند و هر قضاوت را صرفاً بر اساس یافته‌ها می‌سنجد. این دفاع در معیار MedQA میزان موفقیت حمله را به 4‑7٪ کاهش می‌دهد و دقت معمول را پایین نمی‌آورد.

چرا مهم است

اگر بیمارستان‌ها این روش را به کار بگیرند، می‌توانند به دستیارهای هوش مصنوعی اجازه دهند درباره پرونده‌ها گفت‌وگو کنند، بی‌آنکه نگران باشند یادداشتی مخرب بی‌سروصدا تشخیص‌ها را تغییر دهد.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.