Команда под руководством Ziqi Cai представила SPW-Nav — потоковую модель панорамного мира, которая превращает текстовые указания в видео с обзором 360° в реальном времени. Для работы ей нужна одна начальная панорама. Модель выполняет команды вроде «поверни налево» или «двигайся вперед», сохраняя высокое качество видео. Сферический поворот и привязка условий генерации к положению камеры помогают избежать дрейфа при длительной трансляции. Команда также выпустила SPW-NavSet — набор панорамных видео с проверенными траекториями камеры и инструкциями.
Почему это важно
Это позволит VR-приложениям создавать маршруты для виртуальных туров на лету по одной фотографии и меньше полагаться на заранее записанные видео.
