Oossa

Cambrian-BEV से वीडियो का विश्लेषण तेज़, कम मेमोरी में

टोकनाइज़ेशन की नई विधि 128 वीडियो फ़्रेम को 729 स्थानिक टोकन में समेटती है। इससे LLM का प्रीफ़िल समय 2.9× और मेमोरी का इस्तेमाल 3.6× घटता है।

संक्षिप्तलेखक: Oossa द्वारा प्रकाशित: 1 मिनट पढ़ना

शोधकर्ताओं ने Cambrian-BEV पेश किया है। यह वीडियो के दृश्य पैच को एक साझा ‘बर्ड्स-आई-व्यू’ ग्रिड में बदलता है। यह गहराई और कैमरे की स्थिति का इस्तेमाल करके एक ही जगह के अलग-अलग समय और कोणों से मिले दृश्यों को जोड़ता है। इस विधि में मॉडल का आर्किटेक्चर वही रहता है, लेकिन फ़्रेम टोकन की जगह 27×27 BEV टोकन इस्तेमाल होते हैं। VSI-Bench परीक्षण में इसे 63.48 अंक मिले—फ़्रेम-टोकन वाले आधार मॉडल से 8.5 अंक ज़्यादा, जबकि इसमें बहुत कम टोकन लगे।

यह क्यों मायने रखता है

इससे डेवलपर ऐसे वीडियो-आधारित AI असिस्टेंट बना सकते हैं जो तेज़ हों, कम संसाधन लें और जगह से जुड़े तर्क अधिक भरोसेमंद ढंग से कर सकें।

क्या यह लेख उपयोगी था?
साझा करें

यह भी पढ़ें

Oossa · न्यूज़लेटर

AI का हफ़्ता, आसान भाषा में

हर सोमवार: जानने लायक खबरें, सरल भाषा में। मुफ़्त, कोई स्पैम नहीं।