Oossa

V-JEPA-LM insegna all’IA a leggere il movimento nei video

Un nuovo modello open di linguaggio e video usa clip trasformate per insegnare all’IA a riconoscere cambiamenti come velocità e direzione. Gli autori riferiscono punteggi superiori a quelli di altri modelli open della stessa fascia dimensionale.

Di Pubblicato da Oossa: 2 min di lettura

CardMapr.nl · Unsplash

I ricercatori hanno presentato V-JEPA-LM, una famiglia di modelli progettata per rispondere a domande su come cambia un video nel tempo, non soltanto sugli oggetti o le scene che contiene. I modelli abbinano un encoder video V-JEPA 2.1 congelato a un modello linguistico di Qwen o Llama, quindi li addestrano con normali esempi di video e testo e con clip trasformate, le cui risposte cambiano in modo controllato.

Secondo il team, queste trasformazioni possono insegnare a riconoscere il movimento senza richiedere nuove etichette scritte da persone. Per esempio, una clip può essere riprodotta al contrario o a una velocità diversa, creando una versione in cui deve cambiare la risposta a una domanda sulla direzione o sulla velocità. I modelli sono stati addestrati su 4.53 milioni di campioni pubblici in una fase principale, usando 32 fotogrammi per clip.

Perché concentrarsi sul movimento?

I ricercatori sostengono che le didascalie e gli esempi di domande e risposte spesso menzionano solo pochi dettagli di una clip. Un modello può imparare a individuarli senza sfruttare le informazioni sul movimento contenute nell’encoder video. In un test, un semplice classificatore è riuscito a ricavare la velocità dalle feature V-JEPA congelate con un’accuratezza dell’87%, mentre un modello linguistico addestrato su normali esempi di video e testo ha risposto alle domande sulla velocità con risultati vicini al caso.

La soluzione proposta è una supervisione controfattuale: presentare due clip correlate con la stessa domanda, ma risposte diverse perché il video è stato modificato. Secondo il paper, questo spinge il modello linguistico a prestare attenzione al cambiamento in sé. In un confronto con lo stesso budget di addestramento, il team riferisce un aumento medio di 4.5 punti e di 38 punti nelle domande sulla velocità nei benchmark basati su video naturali.

Come si è comportato?

I ricercatori riferiscono che la versione Qwen3-4B ha ottenuto un punteggio di 72.14 considerando 12 risultati di 11 benchmark video. Il dato supera il 61.08 riportato per il più performante modello open della classe 4B, Molmo2-4B; il team afferma inoltre che i suoi modelli hanno primeggiato in tutte le fasce dimensionali testate. La valutazione ha usato le stesse clip, gli stessi prompt e l’impostazione a 32 fotogrammi per tutti i modelli confrontati. Si tratta di risultati riportati dagli autori del modello: non viene descritta una verifica indipendente.

I pesi e il codice di Qwen3-4B sono disponibili al pubblico; il team mette anche a disposizione una demo nel browser della versione Llama 3.1 8B. Il download di Qwen3-4B è di circa 10.1 GB e, secondo la scheda del modello, per usarlo in locale serve una GPU con almeno 16 GB di memoria. Sebbene la base linguistica di quel modello abbia licenza Apache-2.0, alcuni dati di addestramento sono soggetti a una licenza Llama 3.2; il repository indica quindi ulteriori termini di licenza.

Perché conta

Per gli sviluppatori con una GPU adeguata, i pesi pubblici permettono di provare un modello progettato per rispondere a domande sul movimento, sui tempi e sui cambiamenti in una clip. Il vantaggio riportato nei benchmark è promettente, ma non dimostra quanto bene il modello possa gestire i video di tutti i giorni o domande diverse da quelle dei test.

Questo articolo ti è stato utile?
Condividi

Leggi anche

Oossa · Newsletter

La settimana dell'IA, spiegata

Ogni lunedì: le notizie che contano, in parole semplici. Gratis, niente spam.