Perplexity AI hat zwei neue Varianten seines Modells pplx-embed-v2-late angekündigt. Die kleinere Version hat 0.6 billion Parameter und ist für den Einsatz auf Edge-Geräten wie Smartphones oder IoT-Geräten ausgelegt. Die größere Variante hat 9 billion Parameter und eignet sich für den Aufbau hochwertiger Vektorindizes für Such- oder Empfehlungssysteme. Beide Modelle stehen unter der MIT-Lizenz und können daher von allen heruntergeladen und auf eigenen Servern gehostet werden.
Leistung der Modelle
In eigenen Tests erreichte das Modell mit 9 billion Parametern im MADQA-Benchmark, einem Standardtest für die Genauigkeit bei der Beantwortung von Fragen, einen Wert von 92.4%. Im ViDoRe v3 Markdown-Benchmark, der den Umgang mit Texten im Markdown-Format misst, kam dasselbe Modell auf 61.2%. Laut Unternehmen ist das Modell mit 0.6 billion Parametern auf Geschwindigkeit und geringen Speicherbedarf optimiert, während bei der Variante mit 9 billion Parametern die Genauigkeit im Vordergrund steht.
Warum es wichtig ist
Entwickler können jetzt ein leichtgewichtiges Embedding-Modell direkt auf Smartphones oder kleinen Geräten ausführen, ohne einen Cloud-Dienst zu benötigen. Größere Teams, die präzise Such- oder Empfehlungsfunktionen brauchen, können das leistungsfähigere Modell nutzen und zugleich die volle Kontrolle über ihre Daten behalten, da beide Versionen Open Source sind.
