# Kandinsky S2V 1.0: modelo aberto cria avatares a partir de áudio

> Os novos modelos Kandinsky S2V 1.0 Lite (2B) e Pro (21B) transformam uma fala e uma única foto em vídeos de pessoas falando a 25 FPS. O código é gratuito e tem licença MIT.

Oossa · 2026-10-15 · https://oossa.com/pt/kandinsky-s2v-1-0-open-source-audio-driven-avatar-video-model-released

Pesquisadores da equipe Kandinsky anunciaram dois novos modelos de conversão de fala em vídeo em 15 de outubro de 2026. Chamados Kandinsky S2V 1.0 Lite e Kandinsky S2V 1.0 Pro, eles geram vídeos completos a partir de uma única imagem de referência, uma forma de onda de áudio e um comando de texto opcional. Os modelos operam a 25 quadros por segundo e buscam sincronizar os movimentos dos lábios, as expressões faciais, a postura e os gestos das mãos com a fala.

## O que os modelos fazem

As duas versões usam um modelo de linguagem Qwen2.5-Omni para processar texto e áudio e uma memória visual em três escalas, que mantém a imagem de referência em vista. O modelo Pro tem 21 bilhões de parâmetros; a versão Lite, menor, tem 2 bilhões. Para o treinamento, foram usados 1,17 milhão de clipes de vídeo com uma única pessoa falando, acompanhados de legendas em inglês e russo.

## Desempenho e disponibilidade

Em um estudo comparativo com avaliação humana, o modelo Pro teve desempenho igual ou superior ao do modelo aberto mais forte e de dois sistemas comerciais, especialmente na sincronização labial. Nos benchmarks padrão de conversão de fala em vídeo, os modelos Lite e Pro estão entre os cinco melhores em cinco métricas. Uma versão destilada, chamada π-Flow, é 5,4 vezes mais rápida e gera vídeos em 16 etapas de amostragem, sem orientação adicional, igualando ou superando o modelo original na maioria das pontuações. Os autores disponibilizaram o código, os checkpoints dos modelos e uma integração com o Diffusers sob a licença MIT, permitindo que qualquer pessoa baixe e execute os modelos.

## Os fatos

- O artigo foi publicado no arXiv em 15 de outubro de 2026.
- O Kandinsky S2V 1.0 Lite tem 2 bilhões de parâmetros; o Pro tem 21 bilhões.
- Os dados de treinamento consistiam em 1,17 milhão de clipes de vídeo com uma única pessoa falando.
- A avaliação humana mostrou que, em média, o modelo Pro iguala ou supera dois modelos comerciais proprietários.
- O modelo Pro destilado π-Flow é 5,4 vezes mais rápido que o Pro original.

## Por que importa

Para criadores que querem incluir um avatar falante em um vídeo, esses modelos de código aberto permitem gerar animações realistas guiadas pela fala sem pagar por uma API comercial. A versão destilada, mais rápida, torna viável executar o processo em uma única GPU de alto desempenho, abrindo opções de baixo custo para desenvolvedores independentes e educadores.

## Fontes e referências

1. [Kandinsky S2V 1.0: Audio-Driven Avatar Video Generation](https://arxiv.org/abs/2610.19290) – arXiv cs.CV, 2026-10-15

Última atualização: 2026-10-15