Oossa

پژوهش: رتبه‌بندی مدل‌های هوش مصنوعی قابل دستکاری است

پژوهشگران می‌گویند با چند ترفند ساده می‌توان رتبه مدل‌ها را در رتبه‌بندی‌های مبتنی بر ترجیح کاربران تا 45 پله بالا برد.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

مقاله‌ای که 10 Nov 2026 در arXiv منتشر شد نشان می‌دهد دستکاری رتبه‌بندی‌های رقابتی مدل‌های زبانی آسان است. نویسندگان سه روش حمله را بررسی کرده‌اند: رأی‌دادن راهبردی، دستکاری پرامپت‌ها و نامزدی. هرکدام از این روش‌ها می‌تواند رتبه یک مدل را حدود 15‑20 پله بالا ببرد و استفاده هم‌زمان از آن‌ها، مدل را تقریباً 45 پله در رتبه‌بندی جابه‌جا می‌کند. مقاله راهکارهایی برای مقابله با این مشکل هم پیشنهاد می‌دهد، اما می‌گوید این مسئله در هر سامانه‌ای که برای سنجش ترجیحات دوتایی از مدل Bradley‑Terry استفاده کند، وجود دارد.

چرا مهم است

اگر جلوی این دستکاری‌ها گرفته نشود، ممکن است توسعه‌دهندگان و کاربران درباره اینکه کدام مدل زبانی واقعاً عملکرد بهتری دارد، گمراه شوند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.