أعلن باحثون من فريق Kandinsky في 15 أكتوبر 2026 عن نموذجين جديدين لتحويل الصوت إلى فيديو. ويُنشئ النموذجان، Kandinsky S2V 1.0 Lite وKandinsky S2V 1.0 Pro، فيديو كاملًا انطلاقًا من صورة مرجعية واحدة وموجة صوتية، مع إمكانية إضافة نص توجيهي. ويعملان بمعدل 25 إطارًا في الثانية، ويهدفان إلى مزامنة حركة الشفاه وتعابير الوجه ووضعية الجسم وإيماءات اليد مع الكلمات المنطوقة.
ما الذي يمكن للنموذجين فعله؟
يستخدم الإصداران نموذج اللغة Qwen2.5‑Omni لمعالجة النص والصوت، إلى جانب ذاكرة بصرية متعددة المقاييس تُبقي الصورة المرجعية حاضرة. ويضم نموذج Pro 21 مليار معلمة، بينما يضم إصدار Lite الأصغر ملياري معلمة. واعتمد التدريب على 1.17 مليون مقطع فيديو لمتحدث واحد، مع تعليقات توضيحية بالإنجليزية والروسية.
الأداء والتوافر
في دراسة بشرية قارنت النماذج جنبًا إلى جنب، حقق Pro أداءً مماثلًا لأقوى نموذج مفتوح المصدر منافس أو أفضل منه، كما تفوق على نظامين تجاريين، ولا سيما في مزامنة حركة الشفاه. وفي المعايير القياسية لتحويل الصوت إلى فيديو، جاء نموذجا Lite وPro ضمن أفضل خمسة نماذج عبر خمسة مقاييس. أما النسخة المقطّرة، المسماة π‑Flow، فتعمل بسرعة أكبر بمقدار 5.4 ×، إذ تُنتج الفيديو في 16 خطوة أخذ عينات من دون توجيه إضافي، مع معادلة النموذج الأساسي أو تجاوز أدائه في معظم النتائج. وأتاح الباحثون الشيفرة ونقاط حفظ النموذج ودمجًا مع Diffusers بموجب ترخيص MIT، ما يتيح للجميع تنزيل النموذجين وتشغيلهما.
لماذا يهم
تتيح هذه النماذج مفتوحة المصدر لمنشئي المحتوى إضافة أفاتار يتحدث إلى الفيديو، عبر إنشاء رسوم متحركة واقعية تحركها الكلمات المنطوقة من دون دفع تكلفة واجهة برمجة تطبيقات تجارية. كما تجعل النسخة المقطّرة الأسرع تشغيل العملية على وحدة معالجة رسومات واحدة عالية الأداء أمرًا عمليًا، ما يفتح خيارات منخفضة التكلفة أمام المطورين المستقلين والمعلمين.
