Oossa

SPW-Nav, 음성 지시에 따라 실시간 2K 360도 영상 생성

연구진이 단일 이미지에서 시작해 음성 내비게이션 지시에 따라 실시간으로 1분 분량의 2K 파노라마 영상을 생성하는 모델 SPW-Nav를 공개했다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

Ziqi Cai가 이끄는 연구팀이 언어로 된 길 안내를 실시간 360도 영상으로 바꾸는 스트리밍 파노라마 월드 모델 SPW-Nav를 공개했다. 파노라마 이미지 한 장에서 시작하며, 영상 품질을 유지하면서 “왼쪽으로 돌아” 또는 “앞으로 이동해” 같은 지시를 따를 수 있다. 이 시스템은 구면 회전과 포즈 정렬 조건화를 활용해 긴 스트리밍 중에도 영상이 어긋나는 현상을 방지한다. 연구팀은 카메라 궤적과 지시가 검증된 파노라마 영상 데이터셋 SPW-NavSet도 공개했다.

왜 중요한가

VR 앱에서 사진 한 장만으로 즉석 투어를 만들 수 있어, 사전 촬영한 영상의 필요성을 줄일 수 있다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.