Forschende des Kandinsky-Teams haben am 15. Oktober 2026 zwei neue Speech-to-Video-Modelle vorgestellt. Kandinsky S2V 1.0 Lite und Kandinsky S2V 1.0 Pro erzeugen Videos in voller Länge aus einem einzelnen Referenzbild, einer Audiodatei und optional einer Textvorgabe. Sie arbeiten mit 25 Bildern pro Sekunde und sollen Lippenbewegungen, Mimik, Körperhaltung und Handgesten mit dem Gesprochenen synchronisieren.
Was die Modelle können
Beide Versionen nutzen ein Sprachmodell vom Typ Qwen2.5-Omni zur Verarbeitung von Text und Audio sowie einen visuellen Speicher mit drei Maßstabsebenen, der das Referenzbild berücksichtigt. Das Pro-Modell hat 21 Milliarden Parameter, die kleinere Lite-Version 2 Milliarden. Für das Training kamen 1,17 Millionen Videoclips mit jeweils einer sprechenden Person und englischen sowie russischen Untertiteln zum Einsatz.
Leistung und Verfügbarkeit
In einem direkten Vergleich durch menschliche Testpersonen schnitt das Pro-Modell mindestens so gut ab wie die stärkste Open-Source-Alternative und zwei kommerzielle Systeme – insbesondere bei der Lippensynchronisation. Bei gängigen Speech-to-Video-Benchmarks gehören Lite und Pro über fünf Messgrößen hinweg zu den fünf besten Modellen. Eine destillierte Variante namens π-Flow läuft 5,4-mal schneller und erzeugt Videos in 16 Sampling-Schritten ohne zusätzliche Steuerung. Bei den meisten Bewertungen erreicht oder übertrifft sie dabei das Basismodell. Die Autoren haben den Code, die Modell-Checkpoints und eine Diffusers-Integration unter der MIT-Lizenz veröffentlicht. Damit kann jeder die Modelle herunterladen und ausführen.
Warum es wichtig ist
Wer einem Video einen sprechenden Avatar hinzufügen möchte, kann mit den Open-Source-Modellen realistische, sprachgesteuerte Animationen erstellen, ohne für eine kommerzielle API zu bezahlen. Die schnellere destillierte Version lässt sich auf einer einzelnen High-End-GPU ausführen und eröffnet Indie-Entwicklern und Lehrkräften kostengünstige Möglichkeiten.
