Het team onder leiding van Ziqi Cai heeft SPW-Nav uitgebracht, een streaming wereldmodel dat gesproken aanwijzingen omzet in live 360°-video. Het model begint met één panoramafoto en kan opdrachten als ‘sla linksaf’ of ‘ga vooruit’ volgen, terwijl de videokwaliteit hoog blijft. Het systeem gebruikt bolvormige rotatie en pose-uitgelijnde conditionering om te voorkomen dat het beeld tijdens lange streams gaat afwijken. Ook brachten de onderzoekers SPW-NavSet uit, een dataset met panoramavideo’s, geverifieerde cameratrajecten en instructies.
Waarom het ertoe doet
Hiermee zouden VR-apps ter plekke rondleidingen kunnen maken op basis van één foto, waardoor er minder vooraf opgenomen beeldmateriaal nodig is.
