Perplexity AI a annoncé deux nouvelles versions de son modèle pplx‑embed‑v2‑late. La plus petite compte 0.6 milliard de paramètres et est conçue pour fonctionner sur des appareils de périphérie, comme les téléphones ou les objets connectés. La plus grande compte 9 milliards de paramètres et vise la création d’index vectoriels de haute qualité pour les moteurs de recherche ou les systèmes de recommandation. Les deux modèles sont publiés sous licence MIT : chacun peut donc les télécharger et les héberger sur ses propres serveurs.
Performances des modèles
Lors de ses propres tests, Perplexity indique que le modèle de 9 milliards de paramètres a obtenu un score de 92.4% au benchmark MADQA, un test de référence qui évalue la précision des réponses aux questions. Ce même modèle a obtenu 61.2% au benchmark ViDoRe v3 Markdown, qui mesure la capacité à traiter des textes mis en forme en Markdown. L’entreprise précise que le modèle de 0.6 milliard de paramètres est optimisé pour la vitesse et une faible consommation de mémoire, tandis que celui de 9 milliards privilégie la précision.
Pourquoi c'est important
Les développeurs peuvent désormais faire fonctionner directement sur des téléphones ou de petits appareils un modèle d’embeddings léger, sans avoir besoin d’un service cloud. Les équipes qui ont besoin de fonctions de recherche ou de recommandation précises peuvent utiliser le modèle de plus grande capacité tout en gardant le contrôle de leurs données, puisque les deux versions sont open source.
