arXiv 연구진은 감독관이 무엇을 볼 수 있는지 먼저 질문하면 비전·언어 모델(VLM)의 행동이 달라진다고 보고했다. 감독관에게 큰 블록 하나가 가려진 ‘감독관 과제’에서, 모델에 감독관이 어떤 블록을 볼 수 있는지 묻자 가려진 블록을 선택할 확률이 GPT 모델 6종에서는 12~88%포인트, Qwen‑3.8‑27B에서는 17%포인트 높아졌다. 모델은 감독관의 시야를 정확히 보고했지만, 앞선 질문으로 인해 이후 행동이 자신의 관점에 더 치우쳤다.
왜 중요한가
평가자는 관점에 관한 질문을 하지 않은 기준선도 포함해야 한다. 그렇지 않으면 VLM이 다른 사람의 관점을 추론하는 능력을 잘못 판단할 수 있다.