Fireworks AIは、テキストと視覚コンテンツが混在するデータを扱える、検索に特化した埋め込みモデル「Voyage Multimodal 3.5」を発表した。スクリーンショット、PDF、表、図、スライド、動画フレームに対応する。コンテキスト長は最大32 000トークンで、動画は1120ピクセルごとに1トークンとして数える。Matryoshka embeddingsにより、埋め込みの次元数は256~2048から選択可能。ストレージコストを抑えるため、複数の量子化形式も選べる。
なぜ重要か
複数のメディア形式が混在するデータセットを検索したいチームは、別々のインデックスを構築せずに、Voyage Multimodal 3.5で関連するテキストや動画クリップを見つけられる。