Oossa

V-JEPA-LM, 영상 속 움직임을 읽는 AI 모델 공개

새로운 오픈 비디오·언어 모델은 변환한 영상을 활용해 속도와 방향 같은 변화를 학습한다. 개발진은 같은 규모의 다른 오픈 모델보다 높은 점수를 기록했다고 밝혔다.

작성: Oossa 게시일: 2 분 읽기

CardMapr.nl · Unsplash

연구진이 영상에 어떤 사물이나 장면이 나오는지뿐 아니라 시간이 지나면서 영상이 어떻게 변하는지에 관한 질문에 답하도록 설계된 모델 제품군 V-JEPA-LM을 공개했다. 이 모델은 고정된 V-JEPA 2.1 비디오 인코더를 Qwen 또는 Llama 언어 모델과 결합한 뒤, 일반적인 영상·텍스트 예시와 답이 통제된 방식으로 달라지는 변환 영상을 함께 사용해 학습한다.

연구진은 이런 변환을 활용하면 사람이 새로 라벨을 작성하지 않아도 움직임을 학습시킬 수 있다고 설명한다. 예를 들어 영상을 역재생하거나 재생 속도를 바꾸면 방향이나 속도에 관한 질문의 답도 달라져야 하는 영상이 만들어진다. 모델은 주요 학습 단계에서 공개 샘플 4.53 million개를 사용해 학습했으며, 영상 하나당 32프레임을 활용했다.

왜 움직임에 주목했나?

연구진은 캡션과 질의응답 예시에는 영상의 세부 정보가 일부만 담기는 경우가 많다고 지적한다. 모델이 비디오 인코더가 포착한 움직임 정보를 활용하지 않고도 그런 세부 정보를 찾아내도록 학습될 수 있다는 것이다. 한 테스트에서 간단한 프로브는 고정된 V-JEPA 특성으로 속도를 87% 정확도로 읽어냈지만, 기존의 영상·텍스트 예시로 학습한 언어 모델은 속도 관련 질문에 대체로 찍어서 답하는 수준에 그쳤다.

연구진이 제안한 해결책은 반사실적 학습이다. 서로 관련 있는 두 영상을 제시하되, 영상이 달라졌기 때문에 같은 질문에도 답이 달라지도록 하는 방식이다. 논문은 이를 통해 언어 모델이 변화 자체에 주의를 기울이도록 유도한다고 설명한다. 예산을 맞춘 비교 실험에서 연구진은 이 학습 방식으로 자연 영상 벤치마크의 평균 점수가 4.5점, 속도 질문 점수가 38점 상승했다고 밝혔다.

성능은 어땠나?

연구진에 따르면 Qwen3-4B 버전은 11개 비디오 벤치마크에서 산출한 12개 점수의 평균으로 72.14를 기록했다. 이는 가장 성능이 높았던 오픈 4B급 모델 Molmo2-4B의 점수 61.08보다 높다. 연구진은 테스트한 모든 모델 규모에서 자사 모델이 앞섰다고 밝혔다. 비교 모델에는 같은 영상과 프롬프트를 사용하고 프레임 수를 32개로 맞췄다. 이는 모델 개발진이 공개한 결과이며, 독립적인 검증 여부는 설명되지 않았다.

Qwen3-4B의 가중치와 코드는 공개돼 있으며, 연구진은 Llama 3.1 8B 버전의 브라우저 데모도 제공한다. Qwen3-4B 다운로드 용량은 약 10.1 GB이며, 모델 카드에 따르면 로컬에서 사용하려면 최소 16 GB 메모리의 GPU가 필요하다. 해당 모델의 언어 모델 기반은 Apache-2.0 라이선스를 따르지만, 일부 학습 데이터에는 Llama 3.2 라이선스가 적용돼 저장소에 추가 라이선스 조건이 명시돼 있다.

왜 중요한가

적합한 GPU를 갖춘 개발자는 공개 가중치를 내려받아 영상 속 움직임과 시간, 변화를 묻는 질문에 답하도록 설계된 모델을 시험해볼 수 있다. 벤치마크에서 앞섰다는 결과는 고무적이지만, 일상적인 영상이나 테스트 범위를 벗어난 질문에도 얼마나 잘 대응할지는 입증되지 않았다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.