Forskare har presenterat V-JEPA-LM, en modellfamilj som ska kunna svara på frågor om hur en video förändras över tid – inte bara om vilka föremål eller miljöer den visar. Modellerna kombinerar en fryst videoencoder från V-JEPA 2.1 med en språkmodell från Qwen eller Llama. Därefter tränas de på vanliga video- och textexempel samt omvandlade klipp där svaren förändras på ett kontrollerat sätt.
Enligt forskargruppen kan dessa omvandlingar lära modellen om rörelse utan att nya etiketter behöver skrivas av människor. Ett klipp kan till exempel spelas baklänges eller med en annan hastighet, så att svaret på en fråga om riktning eller hastighet måste ändras. Modellerna tränades på 4.53 miljoner offentliga exempel i ett huvudsakligt träningssteg, med 32 videobildrutor per klipp.
Varför fokusera på rörelse?
Forskarna menar att bildtexter och frågor med svar ofta bara tar upp några få detaljer i ett klipp. En modell kan lära sig att hitta detaljerna utan att använda videokodarens information om rörelse. I ett test kunde en enkel avläsare hämta hastighetsinformation ur frysta V-JEPA-funktioner med 87% träffsäkerhet, medan en språkmodell som tränats på konventionella video- och textexempel svarade på frågor om hastighet ungefär lika bra som slumpen.
Forskarna föreslår i stället kontrafaktisk handledning: modellen får se två besläktade klipp med samma fråga men olika svar, eftersom videon har ändrats. Enligt artikeln uppmuntrar det språkmodellen att uppmärksamma själva förändringen. I en jämförelse med samma träningsbudget rapporterar forskargruppen en genomsnittlig förbättring på 4.5 poäng och 38 poäng på frågor om hastighet i riktiga videobenchmarktester.
Hur presterade modellen?
Forskarna uppger att deras version Qwen3-4B fick 72.14 poäng sammanlagt på 12 poängmått från 11 videobenchmarktester. Det var högre än de 61.08 som rapporterades för den starkaste öppna modellen i 4B-klassen, Molmo2-4B. Forskargruppen säger också att deras modeller toppade alla storleksklasser de testade. Utvärderingen använde samma klipp, instruktioner och inställning med 32 bildrutor för modellerna som jämfördes. Resultaten kommer från modellens upphovspersoner; någon oberoende granskning beskrivs inte.
Vikterna och koden för Qwen3-4B är offentligt tillgängliga, och forskargruppen erbjuder också en webbdemo av sin version med Llama 3.1 8B. Qwen3-4B-filen är cirka 10.1 GB, och enligt modellkortet kräver lokal användning en GPU med minst 16 GB minne. Även om språkmodellens grundmodell har licensen Apache-2.0 omfattas vissa träningsdata av licensen Llama 3.2, så lagringsplatsen anger ytterligare licensvillkor.
Varför det spelar roll
För utvecklare med en tillräckligt kraftfull GPU erbjuder de offentliga vikterna ett sätt att testa en modell som utvecklats för att svara på frågor om rörelse, timing och förändringar i ett klipp. Försprånget i benchmarktesterna är lovande, men visar inte hur väl modellen fungerar med vardagliga videor eller frågor utanför testerna.