Teamet under ledning av Ziqi Cai har släppt SPW-Nav, en strömmande panoramavärldsmodell som omvandlar instruktioner på naturligt språk till video i 360° i realtid. Den utgår från ett enda startpanorama och kan följa instruktioner som ”sväng vänster” eller ”gå framåt”, samtidigt som videokvaliteten hålls hög. Systemet använder sfärisk rotation och positionsanpassad betingning för att motverka att bilden driver iväg under långa strömmar. Forskarna har också släppt SPW-NavSet, en datamängd med panoramavideor, verifierade kamerabanor och instruktioner.
Varför det spelar roll
Det skulle kunna göra det möjligt för VR-appar att skapa rundturer direkt från ett enda foto och minska behovet av förinspelat material.
