Fireworks AI heeft Voyage Multimodal 3.5 aangekondigd, een embeddingmodel dat is gericht op informatie terugvinden en tekst en visuele content door elkaar kan verwerken. Het werkt met screenshots, pdf’s, tabellen, figuren, dia’s en videoframes. Het model ondersteunt tot 32 000 tokens; elke 1120 pixels video tellen daarbij als één token. Dankzij Matryoshka-embeddings kunnen gebruikers kiezen voor embeddings met 256 tot 2048 dimensies. Ook kunnen ze kiezen uit verschillende kwantiseringsformaten om opslagkosten te drukken.
Waarom het ertoe doet
Teams die gemengde mediacollecties willen doorzoeken, kunnen met Voyage Multimodal 3.5 relevante teksten of videofragmenten vinden zonder aparte indexen te bouwen.
