Perplexity AI har presenterat två nya versioner av modellen pplx-embed-v2-late. Den mindre har 0,6 miljarder parametrar och är utformad för att köras på edge-enheter, som telefoner och IoT-prylar. Den större har 9 miljarder parametrar och riktar sig till den som vill skapa högkvalitativa vektorindex för sök- och rekommendationssystem. Båda modellerna släpps under MIT-licensen, vilket innebär att vem som helst kan ladda ner dem och drifta dem på egna servrar.
Så presterar modellerna
I Perplexitys egna tester fick modellen med 9 miljarder parametrar 92,4 % i MADQA, ett standardtest för träffsäkerhet i frågesvar. Samma modell fick 61,2 % i ViDoRe v3 Markdown, som mäter hur väl modellen hanterar text formaterad i Markdown. Företaget uppger att modellen med 0,6 miljarder parametrar är optimerad för hastighet och låg minnesförbrukning, medan modellen med 9 miljarder parametrar prioriterar träffsäkerhet.
Varför det spelar roll
Utvecklare kan nu köra en lätt embeddingmodell direkt på telefoner eller mindre enheter utan att behöva använda en molntjänst. Team som behöver träffsäkra sök- eller rekommendationsfunktioner kan använda den större modellen och samtidigt behålla full kontroll över sina data, eftersom båda versionerna är öppen källkod.
