Oossa

پژوهش: هوش مصنوعی‌های جست‌وجوگر وب ممکن است محتوای گمراه‌کننده را تکرار کنند

پژوهشگران ChatGPT، Gemini و Sonar Pro را آزمایش کردند و دریافتند در شرایط مختلف آزمایش، پاسخ‌ها در 31% موارد شامل محتوایی از صفحات تحت کنترل مهاجم بوده است.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

پژوهشی که در arXiv منتشر شده، نشان می‌دهد یک صفحه وب که به‌طور راهبردی در جای مناسبی قرار گرفته باشد، می‌تواند بر پاسخ‌های سامانه‌های هوش مصنوعیِ جست‌وجوگر وب اثر بگذارد. پژوهشگران ChatGPT، Gemini و Sonar Pro را با پرسش‌هایی درباره موضوعاتی آزمایش کردند که اطلاعات معتبر آنلاین درباره آن‌ها کم بود. آن‌ها لحن پرسش‌ها و عوامل دیگری را که مهاجم می‌توانست کنترل کند، تغییر دادند.

در شرایط مختلف آزمایش، محتوای تحت کنترل مهاجم در 31% پاسخ‌ها ظاهر شد. پرسش‌های بدبینانه کمی از میزان موفقیت این روش کاست و هشدارها را افزایش داد، اما پژوهش نشان داد که لحن پرسش یا انتخاب مدل تأثیر چشمگیری نداشت. این مقاله نسخه‌ای گسترش‌یافته از پژوهش است که قرار است در NDSS Symposium 2027 ارائه شود.

چرا مهم است

کسانی که برای کسب اطلاعات درباره موضوعاتی با منابع معتبر اندک از این سامانه‌ها استفاده می‌کنند، ممکن است با محتوایی روبه‌رو شوند که به‌طور راهبردی منتشر شده است؛ این پژوهش نشان داد که طرح پرسش با لحنی بدبینانه فقط تا حد محدودی از آن‌ها محافظت می‌کند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.