Ziqi Cai가 이끄는 연구팀이 언어로 된 길 안내를 실시간 360도 영상으로 바꾸는 스트리밍 파노라마 월드 모델 SPW-Nav를 공개했다. 파노라마 이미지 한 장에서 시작하며, 영상 품질을 유지하면서 “왼쪽으로 돌아” 또는 “앞으로 이동해” 같은 지시를 따를 수 있다. 이 시스템은 구면 회전과 포즈 정렬 조건화를 활용해 긴 스트리밍 중에도 영상이 어긋나는 현상을 방지한다. 연구팀은 카메라 궤적과 지시가 검증된 파노라마 영상 데이터셋 SPW-NavSet도 공개했다.
왜 중요한가
VR 앱에서 사진 한 장만으로 즉석 투어를 만들 수 있어, 사전 촬영한 영상의 필요성을 줄일 수 있다.