Perplexity AI объявила о выпуске двух новых версий модели pplx-embed-v2-late. Младшая, с 0,6 млрд параметров, предназначена для работы на периферийных устройствах — например, телефонах и гаджетах IoT. Старшая версия с 9 млрд параметров рассчитана на создание высококачественных векторных индексов для поиска и рекомендательных систем. Обе модели распространяются по лицензии MIT: их можно скачать и разместить на собственных серверах.
Как работают модели
По результатам собственных тестов Perplexity, модель на 9 млрд параметров набрала 92,4% в тесте MADQA — стандартном бенчмарке точности ответов на вопросы. В бенчмарке ViDoRe v3 Markdown, который оценивает работу с текстом в формате Markdown, та же модель набрала 61,2%. По словам компании, версия на 0,6 млрд параметров оптимизирована для скорости и низкого потребления памяти, а версия на 9 млрд — для точности.
Почему это важно
Теперь разработчики могут запускать компактную модель эмбеддингов непосредственно на телефонах и других небольших устройствах, не прибегая к облачному сервису. Команды, которым нужны точный поиск и рекомендации, могут использовать более мощную модель и сохранять полный контроль над данными: обе версии имеют открытый исходный код.
