15 октября 2026 года исследователи команды Kandinsky представили две новые модели для создания видео по речи. Модели Kandinsky S2V 1.0 Lite и Kandinsky S2V 1.0 Pro создают видео полной продолжительности на основе одного эталонного изображения, аудиофайла и необязательного текстового запроса. Они работают с частотой 25 кадров в секунду и синхронизируют движения губ, мимику, позу и жесты рук с произносимыми словами.
Возможности моделей
Обе версии используют языковую модель Qwen2.5‑Omni для обработки текста и аудио, а также визуальную память с тремя масштабами, которая сохраняет в поле зрения исходное изображение. В модели Pro — 21 миллиард параметров, а облегчённая Lite насчитывает 2 миллиарда параметров. Для обучения использовали 1,17 миллиона видеоклипов с одним говорящим и подписями на английском и русском языках.
Производительность и доступность
В сравнительном исследовании с участием людей модель Pro показала результаты не хуже, а в некоторых случаях лучше, чем у самой сильной модели с открытым исходным кодом и двух коммерческих систем, особенно в синхронизации губ. В стандартных тестах для моделей, создающих видео по речи, версии Lite и Pro входят в пятёрку лидеров по пяти метрикам. Дистиллированная версия под названием π‑Flow работает в 5,4 раза быстрее: она создаёт видео за 16 шагов сэмплирования без дополнительного управления и по большинству показателей не уступает базовой модели или превосходит её. Авторы опубликовали код, контрольные точки моделей и интеграцию с Diffusers по лицензии MIT, поэтому скачать и запустить модели может любой желающий.
Почему это важно
Авторы и создатели контента смогут добавлять в видео говорящих аватаров с реалистичной анимацией, управляемой речью, не оплачивая коммерческий API. Благодаря ускоренной дистиллированной версии такую обработку можно запускать на одной мощной видеокарте, что открывает недорогие возможности для независимых разработчиков и преподавателей.
