Forskare i Kandinsky-teamet presenterade två nya modeller för att skapa video från tal den 15 oktober 2026. Modellerna, som heter Kandinsky S2V 1.0 Lite och Kandinsky S2V 1.0 Pro, skapar videor i full längd utifrån en enda referensbild, en ljudfil och en valfri textprompt. De körs med 25 bilder per sekund och är utformade för att synka läpprörelser, ansiktsuttryck, kroppshållning och handgester med det som sägs.
Vad modellerna kan göra
Båda versionerna använder en Qwen2.5‑Omni-språkmodell för text- och ljudstyrning samt ett visuellt minne i tre skalor som håller referensbilden i åtanke. Pro-modellen har 21 miljarder parametrar, medan Lite är en mindre modell med 2 miljarder parametrar. Modellerna tränades på 1,17 miljoner videoklipp med en talare och engelska eller ryska bildtexter.
Prestanda och tillgänglighet
I en jämförande studie med mänskliga bedömare presterade Pro-modellen lika bra som eller bättre än den starkaste baslinjemodellen med öppen källkod och två kommersiella system, särskilt när det gäller läppsynkronisering. I vanliga tester av video från tal hamnar Lite och Pro bland de fem bästa på fem mätvärden. En destillerad variant som kallas π‑Flow kör 5,4 gånger snabbare och skapar video med 16 samplingssteg utan extra vägledning, samtidigt som den matchar eller överträffar grundmodellen på de flesta poäng. Upphovspersonerna har släppt koden, modellernas kontrollpunkter och en Diffusers-integration under MIT-licensen, så att vem som helst kan ladda ner och köra modellerna.
Varför det spelar roll
För kreatörer som vill lägga till en talande avatar i en video gör modellerna med öppen källkod det möjligt att skapa realistisk, talstyrd animering utan att betala för ett kommersiellt API. Den snabbare, destillerade versionen gör det möjligt att köra processen på ett enda avancerat grafikkort, vilket ger indieutvecklare och lärare tillgång till alternativ med låga kostnader.
