# Kandinsky S2V 1.0 开源音频驱动虚拟人视频模型发布

> 新版 Kandinsky S2V 1.0 Lite（2B）和 Pro（21B）可根据语音和单张照片生成 25 FPS 的口播视频，代码按 MIT 许可证免费开放。

Oossa · 2026-10-15 · https://oossa.com/zh/kandinsky-s2v-1-0-open-source-audio-driven-avatar-video-model-released

Kandinsky 团队的研究人员于 15 October 2026 宣布推出两款语音转视频模型，分别名为 Kandinsky S2V 1.0 Lite 和 Kandinsky S2V 1.0 Pro。模型可根据一张参考图像、音频波形以及可选的文本提示生成完整视频，帧率为 25 帧/秒，旨在让唇形、面部表情、姿势和手势与语音内容同步。

## 模型功能

两个版本都使用 Qwen2.5‑Omni 语言模型处理文本和音频条件，并采用三尺度视觉记忆机制，使参考图像始终处于模型的关注范围内。Pro 模型拥有 21 billion 个参数，Lite 则是规模较小的 2 billion 参数模型。训练数据包括 1.17 million 段单人视频片段，配有英语和俄语字幕。

## 性能与获取方式

在一项并排对比的人工评测中，Pro 模型的表现与最强开源基准模型及两款商业系统相当或更好，唇形同步方面尤为突出。在标准语音转视频基准测试中，Lite 和 Pro 在五项指标上均跻身前五。名为 π‑Flow 的蒸馏版速度提升 5.4 ×，无需额外引导，只需 16 个采样步骤即可生成视频；在大多数评分上，它的表现与基础模型持平或更佳。作者已按 MIT 许可证发布代码、模型检查点和 Diffusers 集成，因此任何人都可以下载并运行这些模型。

## 事实

- 论文于 15 October 2026 发布在 arXiv 上。
- Kandinsky S2V 1.0 Lite 有 2 billion 个参数；Pro 有 21 billion 个参数。
- 训练数据由 1.17 million 段单人视频片段组成。
- 人工评测显示，Pro 模型的平均表现不逊于或优于两款专有商业模型。
- π‑Flow 蒸馏版 Pro 模型的速度是基础 Pro 模型的 5.4 倍。

## 为什么重要

对于希望为视频添加口播虚拟人的创作者来说，这些开源模型无需支付商业 API 费用，就能生成逼真的语音驱动动画。更快的蒸馏版让用户在一台高端 GPU 上运行这一流程成为可能，为独立开发者和教育工作者提供了低成本选择。

## 来源与参考

1. [Kandinsky S2V 1.0: Audio-Driven Avatar Video Generation](https://arxiv.org/abs/2610.19290) – arXiv cs.CV, 2026-10-15

最后更新: 2026-10-15