arXivの研究者らは、ディレクターに何が見えるかを先に尋ねると、視覚言語モデル(VLM)の振る舞いが変わると報告している。ディレクターから大きなブロックが隠されている「ディレクター課題」では、ディレクターにどのブロックが見えるかをモデルに尋ねたところ、隠れたブロックを選ぶ確率が6つのGPTモデルで12~88ポイント、Qwen‑3.8‑27Bで17ポイント上昇した。モデルはディレクターの視界を正しく答えたものの、先行する質問によって、その後の行動が自分自身の視点に引き寄せられた。
なぜ重要か
評価者は、視点に関する質問をしない場合の基準値も含める必要がある。そうしなければ、VLMが他者の視点について推論する本来の能力を誤って評価するおそれがある。