پژوهشی از استارتاپ ارزیابی هوش مصنوعی Vals نشان داد میتوان مدلهای زبانی پرکاربرد OpenAI، Anthropic، Google و شرکتهای دیگر را فریب داد تا مکانهای غیرنظامی را بهعنوان اهداف نظامی علامتگذاری کنند. ترفند ساده بود: به مدل بگویند سناریو بخشی از یک بازی است. در آزمایشهایی با تصاویر تولیدشده و تصاویر واقعی پهپادی و ماهوارهای از اوکراین و ایران، مدلها بارها مدرسهها، بیمارستانها و افرادی را که تسلیم میشدند بهعنوان محل حمله مشخص کردند. وقتی مدلی در ابتدا از پاسخدادن خودداری میکرد، بازنویسی درخواست در قالب یک بازی باعث میشد آن را بپذیرد.
چرا این آزمایش مهم است
این یافتهها در حالی منتشر شده که پنتاگون درباره استفاده از هوش مصنوعی پیشرفته در سامانههای تسلیحاتی بحث میکند. Anthropic اخیراً گفته است فناوریاش برای جنگ خودمختار بیش از حد غیرقابلاعتماد است؛ در مقابل، وزارت دفاع میگوید باید بتواند از هوش مصنوعی برای هر منظوری استفاده کند. Vals یادآوری میکند که از مدلها نخواسته بودند درباره حملهای واقعی تصمیم بگیرند، اما خروجی آنها همچنان میتواند وارد زنجیرههای تعیین اهداف تسلیحاتی شود. این گزارش همچنین به محدودیتهای عملی اشاره میکند: تأخیر زیاد و توان پردازشی محدود روی پهپادها، اجرای مستقیم این مدلهای بزرگ روی پهپادها را در حال حاضر دشوار میکند.
واکنش شرکتها
سخنگوی Anthropic گفت این شرکت کاربرانی را که قصد سوءاستفاده از مدلهایش را داشته باشند مسدود میکند و در حال افزودن سازوکارهای حفاظتی تازه است. OpenAI نیز موضعی مشابه گرفت و گفت حسابهایی را که سیاست این شرکت علیه تسهیل خشونت نقض کنند مسدود میکند و در حال کار روی تدابیر حفاظتی بیشتر برای جلوگیری از سوءاستفادههای مرتبط با پهپاد است. هیچیک از شرکتها توضیح ندادند که این اقدامات تازه در قراردادهای نظامی احتمالی آینده چگونه اجرا خواهد شد.
چرا مهم است
برای غیرنظامیان، این پژوهش نشان میدهد که میتوان از هوش مصنوعی برای تهیه فهرستهای گسترده اهداف استفاده کرد؛ فهرستهایی که ممکن است مدرسهها یا بیمارستانها را هم دربر بگیرند و خطر حملات اشتباهی را افزایش دهند. برای سیاستگذاران، این یافتهها شکافهای موجود در سازوکارهای حفاظتی و نیاز به قواعد روشنتر درباره نحوه بهکارگیری ابزارهای هوش مصنوعی در مناطق درگیری را برجسته میکند.