El equipo dirigido por Ziqi Cai presentó SPW-Nav, un modelo de mundo panorámico en streaming que convierte indicaciones en lenguaje en video en directo de 360 grados. Parte de una única panorámica inicial y puede seguir instrucciones como «gira a la izquierda» o «avanza» sin perder calidad de video. El sistema utiliza rotación esférica y condicionamiento alineado con la pose para evitar desviaciones durante transmisiones largas. El equipo también publicó SPW-NavSet, un conjunto de datos de videos panorámicos con trayectorias de cámara e instrucciones verificadas.
Por qué importa
Podría permitir que las aplicaciones de realidad virtual creen recorridos sobre la marcha a partir de una sola foto y reducir así la necesidad de grabaciones previas.
