L’équipe Kandinsky a annoncé deux nouveaux modèles de génération vidéo à partir de la parole le 15 octobre 2026. Baptisés Kandinsky S2V 1.0 Lite et Kandinsky S2V 1.0 Pro, ils créent une vidéo de toute longueur à partir d’une seule image de référence, d’un signal audio et, en option, d’une consigne textuelle. Ils génèrent 25 images par seconde et cherchent à synchroniser les mouvements des lèvres, les expressions du visage, la posture et les gestes des mains avec les paroles.
Fonctionnalités des modèles
Les deux versions s’appuient sur un modèle de langage Qwen2.5‑Omni pour le traitement du texte et de l’audio, ainsi que sur une mémoire visuelle à trois échelles qui conserve l’image de référence à l’écran. Le modèle Pro compte 21 milliards de paramètres, contre 2 milliards pour la version Lite. L’entraînement a utilisé 1,17 million de clips vidéo avec un seul locuteur, accompagnés de légendes en anglais et en russe.
Performances et disponibilité
Lors d’une comparaison directe menée auprès de participants, le modèle Pro a obtenu des résultats égaux ou supérieurs à ceux du meilleur modèle open source de référence et de deux systèmes commerciaux, en particulier pour la synchronisation labiale. Sur les tests de référence courants en génération vidéo à partir de la parole, les modèles Lite et Pro figurent dans le top 5 pour cinq indicateurs. Une variante distillée, appelée π‑Flow, est 5,4 × plus rapide : elle génère des vidéos en 16 étapes d’échantillonnage, sans guidage supplémentaire, tout en égalant ou dépassant le modèle de base sur la plupart des scores. Les auteurs ont publié le code, les points de contrôle des modèles et une intégration à Diffusers sous licence MIT : chacun peut donc les télécharger et les utiliser.
Pourquoi c'est important
Pour les créateurs qui veulent intégrer un avatar parlant à une vidéo, ces modèles open source permettent de générer des animations réalistes pilotées par la parole sans payer pour une API commerciale. La version distillée, plus rapide, rend le processus exploitable sur un seul GPU haut de gamme et ouvre des options à moindre coût aux développeurs indépendants et aux enseignants.
