Oossa

L’entraînement multimodal confère aux modèles textuels des capacités visuelles latentes

Des chercheurs montrent que l’entraînement sur des données associant images et texte modifie la façon dont les modèles de langage résolvent des tâches spatiales, même lorsqu’ils ne reçoivent que du texte.

BrèvePar Publié par Oossa: 1 min de lecture

Date de l’événement:

Une équipe dirigée par Qi Zhang a publié le 11 nov. 2026 une étude montrant que les modèles de langage entraînés sur des images et du texte développent un « axe visuel » latent, qu’ils mobilisent pour raisonner à partir de texte seul. Dans le modèle Chameleon‑7B, qui compte 7 milliards de paramètres, désactiver cet axe a fait baisser de 27,6 points de pourcentage la précision à la tâche de navigation BIG‑Bench Hard, tout en améliorant légèrement les résultats aux tests symboliques de logique booléenne. Cet effet apparaît dans certaines couches et aide aussi à accomplir des tâches de rotation mentale et de prise de perspective.

Pourquoi c'est important

Ces résultats montrent que l’entraînement sur des données associant images et texte peut améliorer le raisonnement spatial des IA qui ne traitent que du texte, et ainsi orienter la conception des futurs modèles.

Cet article vous a-t-il été utile ?
Partager

À lire ensuite

Oossa · Newsletter

La semaine de l'IA, expliquée

Chaque lundi : l'essentiel de l'actualité, en langage clair. Gratuit, sans spam.