L’équipe dirigée par Ziqi Cai a présenté SPW-Nav, un modèle de monde panoramique en continu qui transforme des indications en langage naturel en vidéo 360° en direct. À partir d’un seul panorama de départ, il peut suivre des consignes comme « tourne à gauche » ou « avance », tout en maintenant une bonne qualité vidéo. Le système s’appuie sur la rotation sphérique et un conditionnement aligné sur la pose pour éviter la dérive sur les longs flux. L’équipe a également publié SPW-NavSet, un jeu de données de vidéos panoramiques comprenant des trajectoires de caméra et des consignes vérifiées.
Pourquoi c'est important
Cette technologie pourrait permettre aux applications de réalité virtuelle de créer des visites à la volée à partir d’une seule photo, réduisant ainsi le besoin de séquences préenregistrées.
