Kandinsky S2V 1.0、音声で動くアバター動画モデルを公開

Kandinskyチームの研究者らは2026年10月15日、音声から動画を生成する2つの新モデルを発表した。Kandinsky S2V 1.0 LiteとKandinsky S2V 1.0 Proは、1枚の参照画像と音声波形、任意のテキストプロンプトをもとに、長さを問わず動画を生成する。フレームレートは25フレーム/秒で、話し言葉に合わせて唇の動きや表情、ポーズ、手振りを同期させることを目指している。

モデルでできること

どちらのモデルも、テキストと音声の条件付けにQwen2.5-Omni言語モデルを使い、参照画像を保持する3段階の視覚メモリーを備える。Proは21 billion parameters、Liteはより小規模な2 billion parametersのモデルだ。学習には、英語とロシア語のキャプションが付いた、単独話者の動画クリップ117万本を使用した。

性能と利用方法

人を対象にした比較評価では、Proモデルは最も強力なオープンソースのベースラインと2つの商用システムに匹敵するか、それを上回り、特にリップシンクで優れた結果を示した。標準的な音声動画生成ベンチマークでは、LiteとProはいずれも5つの指標で上位5モデルに入った。π-Flowと呼ばれる蒸留版は5.4 ×高速で、追加のガイダンスなしに16回のサンプリングステップで動画を生成し、多くのスコアでベースモデルと同等以上の性能を発揮する。開発者らはコード、モデルのチェックポイント、Diffusersとの連携機能をMITライセンスで公開しており、誰でもモデルをダウンロードして実行できる。