Kandinsky टीम के शोधकर्ताओं ने 15 October 2026 को स्पीच-टू-वीडियो के दो नए मॉडल पेश किए। Kandinsky S2V 1.0 Lite और Kandinsky S2V 1.0 Pro नाम के ये मॉडल एक संदर्भ तस्वीर, ऑडियो वेवफ़ॉर्म और वैकल्पिक टेक्स्ट प्रॉम्प्ट से पूरा वीडियो बनाते हैं। ये 25 frames per second की गति से चलते हैं और बोले गए शब्दों के साथ होंठों की गति, चेहरे के भाव, मुद्रा और हाथों के इशारों का तालमेल बिठाने के लिए बनाए गए हैं।
मॉडल क्या कर सकते हैं
दोनों संस्करण टेक्स्ट और ऑडियो के आधार पर वीडियो बनाने के लिए Qwen2.5‑Omni भाषा मॉडल का इस्तेमाल करते हैं। इनमें तीन स्तरों वाली विज़ुअल मेमोरी भी है, जो संदर्भ तस्वीर को ध्यान में रखती है। Pro मॉडल में 21 billion पैरामीटर हैं, जबकि Lite मॉडल छोटा है और इसमें 2 billion पैरामीटर हैं। इन्हें अंग्रेज़ी और रूसी कैप्शन वाले, एक वक्ता के 1.17 million वीडियो क्लिप से प्रशिक्षित किया गया।
प्रदर्शन और उपलब्धता
आमने-सामने की तुलना वाले मानव अध्ययन में Pro मॉडल ने सबसे मज़बूत ओपन-सोर्स मॉडल और दो व्यावसायिक सिस्टम के बराबर या उनसे बेहतर प्रदर्शन किया—खासकर होंठों की सिंक्रोनाइज़ेशन में। स्पीच-टू-वीडियो के मानक बेंचमार्क पर Lite और Pro मॉडल पाँच मेट्रिक्स में शीर्ष पाँच में शामिल हैं। π‑Flow नाम का एक डिस्टिल्ड संस्करण 5.4 × तेज़ चलता है और बिना अतिरिक्त गाइडेंस के 16 सैंपलिंग चरणों में वीडियो बनाता है। इसके ज़्यादातर स्कोर मूल मॉडल के बराबर या उससे बेहतर हैं। लेखकों ने कोड, मॉडल चेकपॉइंट और Diffusers इंटीग्रेशन MIT लाइसेंस के तहत जारी किए हैं, इसलिए कोई भी इन मॉडल को डाउनलोड करके चला सकता है।
यह क्यों मायने रखता है
वीडियो में बोलता हुआ अवतार जोड़ने की इच्छा रखने वाले क्रिएटर इन ओपन-सोर्स मॉडल से व्यावसायिक API का शुल्क दिए बिना, आवाज़ के आधार पर वास्तविक लगने वाला ऐनिमेशन बना सकते हैं। तेज़ डिस्टिल्ड संस्करण से यह प्रक्रिया एक हाई-एंड GPU पर चलाना संभव हो जाता है, जिससे स्वतंत्र डेवलपर और शिक्षकों के लिए कम लागत वाले विकल्प खुलते हैं।
