پرسش درباره دید کارگردان، رفتار مدل‌های بینایی‌ـ‌زبان را تغییر می‌دهد

در آزمایش پژوهشگران، شش مدل GPT و مدل Qwen3.8‑27B پس از آن‌که از آن‌ها پرسیده شد کارگردان چه چیزی را می‌بیند، بسیار بیشتر سراغ بلوک‌های پنهان رفتند؛ یعنی خودِ پرسش رفتارشان را تغییر داد.

خبر کوتاهنویسنده: Oossaمنتشرشده توسط Oossa: ۳۰ مهر ۱۴۰۵ ساعت ۴:۳۸ UTC1 دقیقه مطالعه

1 منبع ↓

پژوهشگران در مقاله‌ای در arXiv گزارش می‌دهند که مدل‌های بینایی‌ـ‌زبان (VLM) وقتی ابتدا از آن‌ها پرسیده می‌شود کارگردان چه چیزی را می‌بیند، رفتار متفاوتی نشان می‌دهند. در «آزمایش کارگردان» که در آن بلوکی بزرگ از دید کارگردان پنهان است، پرسیدن اینکه کارگردان کدام بلوک‌ها را می‌بیند، احتمال انتخاب بلوک پنهان را در شش مدل GPT بین 12 تا 88 واحد درصد و در Qwen‑3.8‑27B به‌اندازه 17 واحد درصد افزایش داد. مدل‌ها همچنان دید کارگردان را درست گزارش کردند، اما پرسش قبلی باعث شد در اقدام بعدی بیشتر بر دیدگاه خود تکیه کنند.

چرا مهم است

ارزیابان باید یک سنجش پایه بدون پرسش درباره دیدگاه را هم در نظر بگیرند؛ در غیر این صورت ممکن است توانایی واقعی مدل‌های بینایی‌ـ‌زبان را در استدلال درباره دیدگاه دیگران نادرست ارزیابی کنند.