Ziqi Cai氏率いるチームは、言語による指示をリアルタイムの360度動画に変換するストリーミング型パノラマ世界モデル「SPW-Nav」を公開した。1枚のパノラマ画像から動画を生成し、高画質を保ちながら「左に曲がる」「前に進む」といった指示に従える。球面回転とカメラ姿勢に沿った条件付けにより、長時間のストリーミングでも映像のずれを防ぐ。また、カメラの軌跡と指示を検証済みのパノラマ動画データセット「SPW-NavSet」も公開した。
なぜ重要か
VRアプリで1枚の写真からその場でツアーを作れるようになり、事前に撮影した映像への依存を減らせる可能性がある。
