Onderzoekers van het Kandinsky-team kondigden op 15 oktober 2026 twee nieuwe spraak-naar-videomodellen aan. De modellen, Kandinsky S2V 1.0 Lite en Kandinsky S2V 1.0 Pro, maken een volledige video op basis van één referentieafbeelding, een audiogolfvorm en een optionele tekstprompt. Ze werken met 25 frames per seconde en zijn bedoeld om lipbewegingen, gezichtsuitdrukkingen, houding en handgebaren af te stemmen op de gesproken woorden.
Wat de modellen kunnen
Beide versies gebruiken een Qwen2.5-Omni-taalmodel voor tekst- en audio-aansturing en een visueel geheugen op drie schalen, dat de referentieafbeelding in beeld houdt. Het Pro-model heeft 21 miljard parameters; de kleinere Lite-versie heeft er 2 miljard. Voor de training werden 1,17 miljoen videoclips met één spreker gebruikt, met Engelse en Russische bijschriften.
Prestaties en beschikbaarheid
In een directe vergelijking door menselijke beoordelaars presteerde het Pro-model even goed als of beter dan de sterkste open-sourcebasislijn en twee commerciële systemen, vooral bij lipsynchronisatie. Op standaardbenchmarks voor spraak-naar-video staan de Lite- en Pro-modellen in de top vijf voor vijf meetwaarden. Een gedistilleerde variant, π-Flow, werkt 5,4 × sneller en maakt video in 16 samplingstappen, zonder extra sturing. Op de meeste scores evenaart of overtreft deze variant het basismodel. De auteurs hebben de code, modelgewichten en een integratie met Diffusers uitgebracht onder de MIT-licentie, zodat iedereen de modellen kan downloaden en gebruiken.
Waarom het ertoe doet
Voor makers die een pratende avatar aan een video willen toevoegen, maken deze open-sourcemodellen het mogelijk om realistische animaties op basis van spraak te genereren zonder te betalen voor een commerciële API. Dankzij de snellere, gedistilleerde versie is het proces uitvoerbaar op één krachtige GPU. Dat biedt indieontwikkelaars en docenten betaalbare mogelijkheden.
