پژوهشگران تیم Kandinsky در 15 October 2026 از دو مدل جدید تبدیل گفتار به ویدئو رونمایی کردند. این مدل‌ها که Kandinsky S2V 1.0 Lite و Kandinsky S2V 1.0 Pro نام دارند، با دریافت یک تصویر مرجع، یک موج صوتی و در صورت تمایل یک دستور متنی، ویدئویی با هر مدت‌زمانی تولید می‌کنند. این مدل‌ها با نرخ 25 فریم‌برثانیه اجرا می‌شوند و برای هماهنگ‌کردن حرکت لب‌ها، حالت چهره، ژست بدن و حرکات دست با کلمات گفته‌شده طراحی شده‌اند.
مدل‌ها چه قابلیت‌هایی دارند؟
هر دو نسخه برای دریافت متن و صدا از مدل زبانی Qwen2.5‑Omni استفاده می‌کنند و حافظه بصری سه‌مقیاسی دارند که تصویر مرجع را در نظر نگه می‌دارد. مدل Pro دارای 21 میلیارد پارامتر است و نسخه Lite مدل کوچک‌تری با 2 میلیارد پارامتر است. برای آموزش مدل‌ها از 1.17 میلیون کلیپ ویدئویی تک‌گوینده با زیرنویس انگلیسی و روسی استفاده شده است.
عملکرد و دسترسی
در یک مطالعه انسانیِ مقایسه‌ای، مدل Pro به‌اندازه قوی‌ترین مدل متن‌باز و دو سامانه تجاری عملکرد داشت یا از آن‌ها بهتر بود؛ به‌ویژه در هماهنگی حرکت لب‌ها. در معیارهای استاندارد تبدیل گفتار به ویدئو، مدل‌های Lite و Pro در پنج سنجه جزو پنج مدل برتر هستند. نسخه تقطیرشده‌ای به نام π‑Flow با سرعتی 5.4 × بیشتر اجرا می‌شود و بدون راهنمایی اضافی، با 16 گام نمونه‌برداری ویدئو تولید می‌کند؛ در بیشتر امتیازها نیز با مدل پایه برابری می‌کند یا از آن بهتر است. نویسندگان کد، نقاط بررسی مدل و یکپارچه‌سازی Diffusers را با مجوز MIT منتشر کرده‌اند؛ بنابراین همه می‌توانند مدل‌ها را دانلود و اجرا کنند.
چرا مهم است
مدل‌های متن‌باز به سازندگانی که می‌خواهند آواتاری سخنگو به ویدئو اضافه کنند، امکان می‌دهند بدون پرداخت هزینه API تجاری، انیمیشنی واقع‌گرایانه و مبتنی بر گفتار بسازند. نسخه تقطیرشده سریع‌تر، اجرای فرایند را روی یک GPU رده‌بالا عملی می‌کند و گزینه‌هایی کم‌هزینه در اختیار توسعه‌دهندگان مستقل و آموزگاران می‌گذارد.
