Pesquisadores da equipe Kandinsky anunciaram dois novos modelos de conversão de fala em vídeo em 15 de outubro de 2026. Chamados Kandinsky S2V 1.0 Lite e Kandinsky S2V 1.0 Pro, eles geram vídeos completos a partir de uma única imagem de referência, uma forma de onda de áudio e um comando de texto opcional. Os modelos operam a 25 quadros por segundo e buscam sincronizar os movimentos dos lábios, as expressões faciais, a postura e os gestos das mãos com a fala.
O que os modelos fazem
As duas versões usam um modelo de linguagem Qwen2.5-Omni para processar texto e áudio e uma memória visual em três escalas, que mantém a imagem de referência em vista. O modelo Pro tem 21 bilhões de parâmetros; a versão Lite, menor, tem 2 bilhões. Para o treinamento, foram usados 1,17 milhão de clipes de vídeo com uma única pessoa falando, acompanhados de legendas em inglês e russo.
Desempenho e disponibilidade
Em um estudo comparativo com avaliação humana, o modelo Pro teve desempenho igual ou superior ao do modelo aberto mais forte e de dois sistemas comerciais, especialmente na sincronização labial. Nos benchmarks padrão de conversão de fala em vídeo, os modelos Lite e Pro estão entre os cinco melhores em cinco métricas. Uma versão destilada, chamada π-Flow, é 5,4 vezes mais rápida e gera vídeos em 16 etapas de amostragem, sem orientação adicional, igualando ou superando o modelo original na maioria das pontuações. Os autores disponibilizaram o código, os checkpoints dos modelos e uma integração com o Diffusers sob a licença MIT, permitindo que qualquer pessoa baixe e execute os modelos.
Por que importa
Para criadores que querem incluir um avatar falante em um vídeo, esses modelos de código aberto permitem gerar animações realistas guiadas pela fala sem pagar por uma API comercial. A versão destilada, mais rápida, torna viável executar o processo em uma única GPU de alto desempenho, abrindo opções de baixo custo para desenvolvedores independentes e educadores.
