Il 15 ottobre 2026 i ricercatori del team Kandinsky hanno annunciato due nuovi modelli che generano video a partire dall’audio. Kandinsky S2V 1.0 Lite e Kandinsky S2V 1.0 Pro creano video di qualsiasi durata partendo da una singola immagine di riferimento, da una forma d’onda audio e, facoltativamente, da un prompt testuale. Funzionano a 25 fotogrammi al secondo e puntano a sincronizzare labbra, espressioni facciali, postura e gesti delle mani con le parole pronunciate.
Cosa sanno fare i modelli
Entrambe le versioni usano un modello linguistico Qwen2.5‑Omni per elaborare testo e audio e una memoria visiva su tre scale che mantiene sempre presente l’immagine di riferimento. Il modello Pro ha 21 miliardi di parametri, mentre Lite è una versione più piccola da 2 miliardi. Per l’addestramento sono state usate 1,17 milioni di clip video con un solo parlante, corredate da didascalie in inglese e russo.
Prestazioni e disponibilità
In uno studio comparativo condotto con valutazioni umane, il modello Pro ha ottenuto risultati pari o superiori al più forte modello open source di riferimento e a due sistemi commerciali, soprattutto nella sincronizzazione labiale. Nei benchmark standard per la generazione di video a partire dall’audio, i modelli Lite e Pro si collocano tra i primi cinque in cinque metriche. Una variante distillata, chiamata π‑Flow, è 5,4 × più veloce e genera video in 16 passaggi di campionamento senza ulteriori indicazioni, eguagliando o superando il modello base nella maggior parte dei punteggi. Gli autori hanno pubblicato il codice, i checkpoint dei modelli e un’integrazione con Diffusers con licenza MIT: chiunque può scaricare ed eseguire i modelli.
Perché conta
Per chi vuole aggiungere a un video un avatar parlante, questi modelli open source permettono di generare animazioni realistiche guidate dalla voce senza pagare un’API commerciale. La versione distillata più veloce consente di eseguire il processo su una singola GPU di fascia alta, offrendo opzioni a basso costo a sviluppatori indipendenti e insegnanti.
