قدّم باحثون V-JEPA-LM، وهي عائلة من النماذج المصممة للإجابة عن أسئلة حول التغيّرات التي تطرأ على الفيديو بمرور الوقت، لا عن الأشياء أو المشاهد التي يتضمنها فحسب. وتجمع النماذج بين مُرمّز فيديو V-JEPA 2.1 ثابت لا تُحدَّث أوزانه ونموذج لغوي من Qwen أو Llama، ثم تُدرَّب باستخدام أمثلة اعتيادية تجمع الفيديو والنص، إلى جانب مقاطع معدّلة تتغير إجابات الأسئلة عنها بطريقة مضبوطة.
ويقول الفريق إن هذه التعديلات يمكن أن تعلّم النموذج فهم الحركة من دون الحاجة إلى تسميات جديدة يكتبها البشر. فعلى سبيل المثال، يمكن عكس مقطع أو تشغيله بسرعة مختلفة، ما ينتج نسخة تتطلب تغيير الإجابة عن سؤال حول الاتجاه أو السرعة. ودُرّبت النماذج على 4.53 million عينة عامة في مرحلة تدريب رئيسية واحدة، باستخدام 32 إطار فيديو لكل مقطع.
لماذا التركيز على الحركة؟
يرى الباحثون أن التعليقات النصية وأمثلة الأسئلة والأجوبة لا تذكر غالبًا سوى تفاصيل قليلة في المقطع. ويمكن للنموذج تعلّم العثور على تلك التفاصيل من دون الاستفادة من المعلومات التي يوفرها مُرمّز الفيديو عن الحركة. وفي أحد الاختبارات، استطاع مسبار بسيط استنتاج السرعة من ميزات V-JEPA الثابتة بدقة بلغت 87%، بينما أجاب نموذج لغوي دُرّب على أمثلة تقليدية تجمع الفيديو والنص عن أسئلة السرعة بمستوى يقارب التخمين.
ويقترح الباحثون معالجة ذلك بالإشراف المضاد للواقع: عرض مقطعين مترابطين مع السؤال نفسه، لكن بإجابتين مختلفتين لأن الفيديو عُدّل. وتقول الورقة البحثية إن هذا يشجع النموذج اللغوي على الانتباه إلى التغيير نفسه. وفي مقارنة بميزانية تدريب متماثلة، أفاد الفريق بأن هذا التدريب أضاف 4.5 نقاط في المتوسط و38 نقطة في أسئلة السرعة ضمن اختبارات معيارية لمقاطع فيديو طبيعية.
كيف كان أداؤه؟
يفيد الباحثون بأن نسخة Qwen3-4B حققت 72.14 عبر 12 نتيجة في 11 اختبارًا معياريًا للفيديو. وهذا أعلى من 61.08 المسجلة لأقوى نموذج مفتوح من فئة 4B، وهو Molmo2-4B، ويقول الفريق إن نماذجه تصدرت كل فئات الأحجام التي اختبرها. واستخدم التقييم المقاطع والمطالبات النصية نفسها وإعداد 32 إطارًا للنماذج التي شملتها المقارنة. وهذه نتائج أوردها مطوّرو النموذج؛ ولم يُذكر إجراء تحقق مستقل منها.
أوزان Qwen3-4B وشفرته متاحة للعامة، كما يوفر الفريق عرضًا تجريبيًا عبر المتصفح لنسخة Llama 3.1 8B. ويبلغ حجم تنزيل Qwen3-4B نحو 10.1 GB، وتذكر بطاقة النموذج أن تشغيله محليًا يتطلب وحدة معالجة رسومية بذاكرة لا تقل عن 16 GB. ورغم أن النموذج اللغوي الأساسي لهذه النسخة مرخّص بموجب Apache-2.0، فإن بعض بيانات التدريب تخضع لترخيص Llama 3.2، لذا يورد المستودع شروط ترخيص إضافية.
لماذا يهم
تتيح الأوزان المتاحة للعامة للمطورين الذين لديهم وحدة معالجة رسومية مناسبة تجربة نموذج صُمم للإجابة عن أسئلة تتعلق بالحركة والتوقيت والتغيّرات في المقاطع. والصدارة المعلنة في الاختبارات المعيارية مبشّرة، لكنها لا تثبت مدى جودة أداء النموذج مع مقاطع الفيديو اليومية أو الأسئلة التي تتجاوز نطاق تلك الاختبارات.