Des chercheurs rapportent sur arXiv que les modèles vision-langage (VLM) se comportent différemment lorsqu’on leur demande d’abord ce qu’un directeur peut voir. Dans une « tâche du directeur », où un grand bloc est caché à celui-ci, demander au modèle quels blocs le directeur voit a augmenté de 12 à 88 points de pourcentage la probabilité qu’il choisisse le bloc caché pour six modèles GPT, et de 17 points pour Qwen‑3.8‑27B. Les modèles ont tout de même correctement décrit le champ de vision du directeur, mais la question préalable a orienté leur choix suivant vers leur propre perspective.
Pourquoi c'est important
Les évaluateurs doivent prévoir une mesure de référence sans question sur le point de vue, au risque de mal juger la véritable capacité des VLM à raisonner sur le point de vue d’autrui.
