# Kandinsky S2V 1.0: Open-Source-Modell erstellt sprechende Avatare aus Audio

> Kandinsky S2V 1.0 Lite (2B) und Pro (21B) verwandeln Sprache und ein einzelnes Foto in ein Talking-Head-Video mit 25 FPS. Der Code ist unter MIT-Lizenz kostenlos verfügbar.

Oossa · 2026-10-15 · https://oossa.com/de/kandinsky-s2v-1-0-open-source-audio-driven-avatar-video-model-released

Forschende des Kandinsky-Teams haben am 15. Oktober 2026 zwei neue Speech-to-Video-Modelle vorgestellt. Kandinsky S2V 1.0 Lite und Kandinsky S2V 1.0 Pro erzeugen Videos in voller Länge aus einem einzelnen Referenzbild, einer Audiodatei und optional einer Textvorgabe. Sie arbeiten mit 25 Bildern pro Sekunde und sollen Lippenbewegungen, Mimik, Körperhaltung und Handgesten mit dem Gesprochenen synchronisieren.

## Was die Modelle können

Beide Versionen nutzen ein Sprachmodell vom Typ Qwen2.5-Omni zur Verarbeitung von Text und Audio sowie einen visuellen Speicher mit drei Maßstabsebenen, der das Referenzbild berücksichtigt. Das Pro-Modell hat 21 Milliarden Parameter, die kleinere Lite-Version 2 Milliarden. Für das Training kamen 1,17 Millionen Videoclips mit jeweils einer sprechenden Person und englischen sowie russischen Untertiteln zum Einsatz.

## Leistung und Verfügbarkeit

In einem direkten Vergleich durch menschliche Testpersonen schnitt das Pro-Modell mindestens so gut ab wie die stärkste Open-Source-Alternative und zwei kommerzielle Systeme – insbesondere bei der Lippensynchronisation. Bei gängigen Speech-to-Video-Benchmarks gehören Lite und Pro über fünf Messgrößen hinweg zu den fünf besten Modellen. Eine destillierte Variante namens π-Flow läuft 5,4-mal schneller und erzeugt Videos in 16 Sampling-Schritten ohne zusätzliche Steuerung. Bei den meisten Bewertungen erreicht oder übertrifft sie dabei das Basismodell. Die Autoren haben den Code, die Modell-Checkpoints und eine Diffusers-Integration unter der MIT-Lizenz veröffentlicht. Damit kann jeder die Modelle herunterladen und ausführen.

## Die Fakten

- Das Paper wurde am 15. Oktober 2026 auf arXiv veröffentlicht.
- Kandinsky S2V 1.0 Lite hat 2 Milliarden Parameter, Pro 21 Milliarden.
- Die Trainingsdaten umfassten 1,17 Millionen Videoclips mit jeweils einer sprechenden Person.
- In der menschlichen Bewertung schnitt das Pro-Modell im Durchschnitt mindestens so gut ab wie zwei proprietäre kommerzielle Modelle.
- Das destillierte π-Flow-Pro-Modell ist 5,4-mal schneller als das Pro-Basismodell.

## Warum es wichtig ist

Wer einem Video einen sprechenden Avatar hinzufügen möchte, kann mit den Open-Source-Modellen realistische, sprachgesteuerte Animationen erstellen, ohne für eine kommerzielle API zu bezahlen. Die schnellere destillierte Version lässt sich auf einer einzelnen High-End-GPU ausführen und eröffnet Indie-Entwicklern und Lehrkräften kostengünstige Möglichkeiten.

## Quellen und Referenzen

1. [Kandinsky S2V 1.0: Audio-Driven Avatar Video Generation](https://arxiv.org/abs/2610.19290) – arXiv cs.CV, 2026-10-15

Zuletzt aktualisiert: 2026-10-15