Oossa

Sink-Sparse Hybrid Attention से तेज़ होंगे इमेज और वीडियो मॉडल

ध्यान देने की इस नई विधि से दो डिफ्यूज़न ट्रांसफॉर्मर में अनुमान का समय 1.57× तक घटा, जबकि गुणवत्ता बनी रही।

संक्षिप्तलेखक: Oossa द्वारा प्रकाशित: 1 मिनट पढ़ना

Bingxin Xing के नेतृत्व में शोधकर्ताओं ने Sink‑Sparse Hybrid Attention पेश किया है। यह प्रीट्रेंड डिफ्यूज़न ट्रांसफॉर्मर में डेंस सेल्फ-अटेंशन की जगह ले सकता है और इसके लिए मॉडल को दोबारा ट्रेन करने की ज़रूरत नहीं पड़ती। यह तकनीक एक छोटे कैलिब्रेशन सेट से स्थिर “सिंक मास्क” तैयार करती है और साथ में एक हल्की pooled-KV शाखा जोड़ती है। Wan2.1‑T2V‑1.3B मॉडल पर इससे शुरू से अंत तक जनरेशन 1.54× तेज़ होती है, जबकि Z‑Image‑Turbo पर रफ्तार 1.57× बढ़ती है। दोनों ही मामलों में गुणवत्ता मूल मॉडल के बराबर रहती है।

यह क्यों मायने रखता है

तेज़ अनुमान से डेवलपर कम खर्च में इमेज या वीडियो बना सकते हैं। इससे टेक्स्ट से मीडिया बनाने वाले ऐप्स की लागत घट सकती है।

क्या यह लेख उपयोगी था?
साझा करें

यह भी पढ़ें

Oossa · न्यूज़लेटर

AI का हफ़्ता, आसान भाषा में

हर सोमवार: जानने लायक खबरें, सरल भाषा में। मुफ़्त, कोई स्पैम नहीं।