Fireworks AI가 텍스트와 시각 자료가 섞인 콘텐츠를 처리하는 검색 특화 임베딩 모델 Voyage Multimodal 3.5를 발표했다. 스크린샷, PDF, 표, 도표, 슬라이드, 동영상 프레임을 처리할 수 있다. 컨텍스트는 최대 32 000토큰을 지원하며, 동영상은 픽셀 1120개당 1토큰으로 계산한다. Matryoshka 임베딩을 적용해 256~2048차원 중 선택할 수 있고, 저장 비용을 줄이기 위해 여러 양자화 형식도 지원한다.
왜 중요한가
여러 미디어 형식이 섞인 데이터셋을 검색해야 하는 팀은 Voyage Multimodal 3.5를 활용해 별도의 인덱스를 만들지 않고도 관련 텍스트나 동영상 클립을 찾을 수 있다.