Perplexity AI heeft twee nieuwe versies van het model pplx‑embed‑v2‑late aangekondigd. De kleinere variant heeft 0.6 billion parameters en is ontworpen voor gebruik op edgehardware, zoals telefoons en IoT-apparaten. De grotere variant heeft 9 billion parameters en is bedoeld voor het opbouwen van hoogwaardige vectorindexen voor zoek- of aanbevelingssystemen. Beide modellen zijn uitgebracht onder de MIT-licentie, zodat iedereen ze kan downloaden en op eigen servers kan hosten.
Prestaties van de modellen
In eigen tests behaalde het model met 9 billion parameters een score van 92.4% op de MADQA-benchmark, een standaardtest voor de nauwkeurigheid van vraagbeantwoording. Hetzelfde model scoorde 61.2% op de ViDoRe v3 Markdown-benchmark, die meet hoe goed modellen met in Markdown opgemaakte tekst omgaan. Volgens het bedrijf is het model met 0.6 billion parameters geoptimaliseerd voor snelheid en een laag geheugengebruik, terwijl de versie met 9 billion parameters zich richt op nauwkeurigheid.
Waarom het ertoe doet
Ontwikkelaars kunnen nu een licht embeddingmodel rechtstreeks op telefoons of kleine apparaten draaien, zonder clouddienst. Teams die nauwkeurige zoek- of aanbevelingsfuncties nodig hebben, kunnen het model met hogere capaciteit gebruiken en tegelijk volledige controle over hun gegevens houden, omdat beide versies open source zijn.
