Kandinsky ekibinden araştırmacılar, 15 Ekim 2026'da konuşmadan videoya dönüştüren iki yeni modeli duyurdu. Kandinsky S2V 1.0 Lite ve Kandinsky S2V 1.0 Pro adlı modeller, tek bir referans görsel, ses dalga biçimi ve isteğe bağlı bir metin isteminden tam uzunlukta video üretiyor. Saniyede 25 kare hızında çalışan modeller; dudak hareketlerini, yüz ifadelerini, duruşu ve el hareketlerini konuşmayla eşleştirmeyi hedefliyor.
Modeller neler yapabiliyor?
Her iki sürüm de metin ve ses koşullandırması için bir Qwen2.5-Omni dil modeli ile referans görseli bellekte tutan üç ölçekli bir görsel bellek kullanıyor. Pro modeli 21 milyar, daha küçük Lite modeli ise 2 milyar parametreye sahip. Modeller, İngilizce ve Rusça altyazıları bulunan 1,17 milyon tek konuşmacılı video kliple eğitildi.
Performans ve erişilebilirlik
Yan yana yapılan bir insan değerlendirmesinde Pro modeli, özellikle dudak senkronizasyonunda, en güçlü açık kaynaklı temel model ve iki ticari sistem kadar iyi ya da daha iyi performans gösterdi. Standart konuşmadan videoya kıyaslama testlerinde Lite ve Pro modelleri, beş ölçütün tamamında ilk beş arasında yer alıyor. π-Flow adlı damıtılmış sürüm 5,4 kat daha hızlı çalışıyor; ek yönlendirme olmadan 16 örnekleme adımında video üretiyor ve puanların çoğunda temel modeli yakalıyor ya da geride bırakıyor. Yazarlar kodu, model kontrol noktalarını ve Diffusers entegrasyonunu MIT lisansı altında yayımladı; böylece herkes modelleri indirip çalıştırabiliyor.
Neden önemli
Videolarına konuşan bir avatar eklemek isteyen içerik üreticileri, bu açık kaynaklı modellerle ticari bir API'ye ödeme yapmadan konuşmaya dayalı gerçekçi animasyonlar oluşturabiliyor. Daha hızlı damıtılmış sürüm, işlemi üst seviye tek bir GPU'da çalıştırmayı mümkün kılarak bağımsız geliştiriciler ve eğitimciler için düşük maliyetli seçenekler sunuyor.
