arXiv के शोधकर्ताओं की रिपोर्ट के मुताबिक, vision‑language models (VLMs) से पहले यह पूछने पर कि निर्देशक क्या देख सकता है, उनका व्यवहार बदल जाता है। “Director Task” में निर्देशक से एक बड़ा ब्लॉक छिपाया जाता है। मॉडल से यह पूछने पर कि निर्देशक को कौन-से ब्लॉक दिखते हैं, छह GPT मॉडल में छिपा ब्लॉक चुनने की संभावना 12 से 88 प्रतिशत अंक तक बढ़ गई, जबकि Qwen‑3.8‑27B में यह 17 अंक बढ़ी। मॉडल ने निर्देशक का नज़रिया सही बताया, लेकिन पहले पूछे गए सवाल ने बाद में उसके चुनाव को अपने नज़रिए की ओर मोड़ दिया।
यह क्यों मायने रखता है
मूल्यांकनकर्ताओं को नज़रिए से जुड़ा सवाल पूछे बिना भी एक आधार-स्तर शामिल करना चाहिए, वरना वे VLMs की दूसरों के नज़रिए से तर्क करने की वास्तविक क्षमता का गलत आकलन कर सकते हैं।
