Kandinsky 팀 연구진은 2026년 10월 15일 새로운 음성-영상 생성 모델 2종을 발표했다. Kandinsky S2V 1.0 Lite와 Kandinsky S2V 1.0 Pro라는 이름의 이 모델은 참조 이미지 한 장과 오디오 파형, 선택 사항인 텍스트 프롬프트를 입력받아 길이 제한 없이 영상을 생성한다. 초당 25프레임으로 작동하며, 말하는 내용에 맞춰 입 모양과 표정, 자세, 손짓을 동기화하는 것을 목표로 한다.
모델의 주요 기능
두 모델 모두 텍스트와 오디오 조건을 처리하는 Qwen2.5-Omni 언어 모델과 참조 이미지를 계속 반영하는 3단계 시각 메모리를 사용한다. Pro 모델은 210억 개, Lite 모델은 20억 개의 매개변수를 갖췄다. 학습에는 영어와 러시아어 캡션이 달린 단일 화자 영상 클립 117만 개가 사용됐다.
성능과 이용 방법
사람이 두 영상을 나란히 비교한 평가에서 Pro 모델은 가장 강력한 오픈소스 기준 모델과 상용 시스템 2종에 필적하거나 이를 앞섰으며, 특히 입 모양 동기화에서 좋은 성능을 보였다. 표준 음성-영상 생성 벤치마크 5개 지표에서도 Lite와 Pro 모델은 모두 상위 5위권에 들었다. π-Flow라는 증류 모델은 별도의 가이던스 없이 16단계 샘플링으로 영상을 만들어 5.4배 빠르게 실행되며, 대부분의 평가 점수에서 기본 모델과 대등하거나 더 나은 성능을 냈다. 연구진은 코드와 모델 체크포인트, Diffusers 통합 기능을 MIT 라이선스로 공개해 누구나 모델을 내려받아 실행할 수 있도록 했다.
왜 중요한가
영상에 말하는 아바타를 넣으려는 창작자는 상용 API 비용을 내지 않고도 음성에 맞춘 사실적인 애니메이션을 만들 수 있다. 증류 모델은 처리 속도가 더 빨라 고성능 GPU 한 대로도 실행할 수 있어, 독립 개발자와 교육자에게 저렴한 선택지를 제공한다.
