Ziqi Cai liderliğindeki ekip, dilde verilen yönlendirmeleri canlı 360 derecelik videoya dönüştüren akış tabanlı panoramik dünya modeli SPW-Nav’ı yayımladı. Model, tek bir başlangıç panoramasıyla çalışıyor ve video kalitesini korurken “sola dön” veya “ileri git” gibi talimatları izleyebiliyor. Sistem, uzun video akışlarında yön kaymasını önlemek için küresel döndürme ve poz hizalamalı koşullandırma kullanıyor. Ekip ayrıca doğrulanmış kamera rotaları ve talimatlar içeren panoramik videolardan oluşan SPW-NavSet veri kümesini de yayımladı.
Neden önemli
VR uygulamalarının tek bir fotoğraftan anında turlar oluşturmasını sağlayabilir ve önceden kaydedilmiş görüntülere duyulan ihtiyacı azaltabilir.