Oossa

V-JEPA-LM می‌خواهد حرکت را به هوش مصنوعی ویدئویی بیاموزد

یک مدل جدید و متن‌باز ویدئوـ‌زبان با استفاده از کلیپ‌های دست‌کاری‌شده، تغییراتی مثل سرعت و جهت را به هوش مصنوعی آموزش می‌دهد. سازندگانش می‌گویند امتیاز آن از مدل‌های متن‌باز هم‌رده بالاتر است.

نویسنده: منتشرشده توسط Oossa: 2 دقیقه مطالعه

CardMapr.nl · Unsplash

پژوهشگران V-JEPA-LM را معرفی کرده‌اند؛ خانواده‌ای از مدل‌ها که برای پاسخ‌دادن به پرسش‌هایی درباره تغییرات ویدئو در گذر زمان طراحی شده‌اند، نه فقط اشیا یا صحنه‌های موجود در آن. این مدل‌ها یک رمزگذار ویدئویی V-JEPA 2.1 را که وزن‌هایش ثابت نگه داشته شده، با یک مدل زبانی از Qwen یا Llama ترکیب می‌کنند و سپس با نمونه‌های معمول ویدئوـ‌متن و کلیپ‌های دست‌کاری‌شده‌ای آموزش می‌بینند که پاسخ‌ها در آن‌ها به‌شکلی کنترل‌شده تغییر می‌کند.

به گفته تیم پژوهشی، این دست‌کاری‌ها می‌توانند بدون نیاز به برچسب‌های تازه‌ای که انسان‌ها نوشته باشند، حرکت را به مدل بیاموزند. برای نمونه، می‌توان کلیپی را برعکس یا با سرعتی متفاوت پخش کرد و نسخه‌ای ساخت که در آن پاسخ پرسشی درباره جهت یا سرعت باید تغییر کند. مدل‌ها در یک مرحله اصلی آموزش، با 4.53 million نمونه عمومی و 32 فریم ویدئو برای هر کلیپ آموزش دیدند.

چرا تمرکز بر حرکت؟

پژوهشگران می‌گویند زیرنویس‌ها و نمونه‌های پرسش‌وپاسخ معمولاً فقط به چند جزئیات یک کلیپ اشاره می‌کنند. مدل ممکن است یاد بگیرد آن جزئیات را پیدا کند، بی‌آنکه از اطلاعات رمزگذار ویدئو درباره حرکت استفاده کند. در یک آزمون، یک ابزار ساده توانست سرعت را از ویژگی‌های ثابت V-JEPA با دقت 87% استخراج کند؛ اما یک مدل زبانی که با نمونه‌های معمول ویدئوـ‌متن آموزش دیده بود، به پرسش‌های مربوط به سرعت تقریباً در حد تصادف پاسخ داد.

راهکاری که پژوهشگران پیشنهاد می‌کنند «نظارت خلاف‌واقعی» است: ارائه دو کلیپ مرتبط با پرسشی یکسان، اما پاسخ‌هایی متفاوت که دلیلشان تغییر ویدئو است. مقاله می‌گوید این روش مدل زبانی را تشویق می‌کند به خودِ تغییر توجه کند. تیم پژوهشی در مقایسه‌ای با بودجه آموزشی یکسان گزارش می‌دهد که این آموزش، به‌طور میانگین 4.5 امتیاز و در پرسش‌های مربوط به سرعت 38 امتیاز به نتایج معیارهای ویدئوهای طبیعی افزوده است.

عملکرد مدل چگونه بود؟

پژوهشگران گزارش می‌دهند نسخه Qwen3-4B آن‌ها در 12 امتیاز از 11 معیار ویدئویی، امتیاز 72.14 را کسب کرده است. این رقم از 61.08 گزارش‌شده برای قوی‌ترین مدل متن‌باز 4B، یعنی Molmo2-4B، بیشتر بود و تیم می‌گوید مدل‌هایش در همه رده‌های اندازه‌ای که آزمایش کرده‌اند پیشتاز بوده‌اند. در ارزیابی، مدل‌های مورد مقایسه با کلیپ‌ها، دستورها و تنظیمات 32 فریمی یکسان آزمایش شدند. این نتایج را سازندگان مدل گزارش کرده‌اند و اعتبارسنجی مستقل در مقاله شرح داده نشده است.

وزن‌ها و کد Qwen3-4B به‌صورت عمومی در دسترس‌اند و تیم پژوهشی نسخه Llama 3.1 8B را هم در قالب یک دموی مرورگری ارائه می‌کند. حجم دانلود Qwen3-4B حدود 10.1 GB است و در شناسنامه مدل آمده که اجرای محلی آن به GPU با دست‌کم 16 GB حافظه نیاز دارد. با اینکه پایه مدل زبانی این مدل مجوز Apache-2.0 دارد، بخشی از داده‌های آموزشی مشمول مجوز Llama 3.2 هستند؛ بنابراین مخزن، شرایط مجوز تکمیلی را هم فهرست کرده است.

چرا مهم است

وزن‌های عمومی این مدل به توسعه‌دهندگانی که GPU مناسب دارند امکان می‌دهد مدلی را امتحان کنند که برای پاسخ‌دادن به پرسش‌هایی درباره حرکت، زمان‌بندی و تغییرات در کلیپ طراحی شده است. پیشتازی گزارش‌شده در معیارها امیدوارکننده است، اما نشان نمی‌دهد مدل در برخورد با ویدئوهای روزمره یا پرسش‌هایی خارج از این آزمون‌ها چقدر خوب عمل می‌کند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.