Perplexity AI دو نسخه تازه از مدل pplx-embed-v2-late خود را معرفی کرد. نسخه کوچک‌تر ۰٫۶ میلیارد پارامتر دارد و برای اجرا روی سخت‌افزارهای لبه، مثل گوشی‌ها یا دستگاه‌های اینترنت اشیا، طراحی شده است. نسخه بزرگ‌تر با ۹ میلیارد پارامتر برای ساخت شاخص‌های برداری باکیفیت در سامانه‌های جست‌وجو یا پیشنهاددهی در نظر گرفته شده است. هر دو مدل با مجوز MIT منتشر شده‌اند و هر کسی می‌تواند آن‌ها را دانلود و روی سرورهای خودش میزبانی کند.
عملکرد مدل‌ها
در آزمایش‌های خود Perplexity، مدل ۹ میلیاردپارامتری در بنچمارک MADQA، آزمونی استاندارد برای سنجش دقت پاسخ‌گویی به پرسش‌ها، امتیاز ۹۲٫۴٪ گرفت. همین مدل در بنچمارک ViDoRe v3 Markdown که توانایی کار با متن‌های قالب‌بندی‌شده با Markdown را می‌سنجد، امتیاز ۶۱٫۲٪ کسب کرد. این شرکت می‌گوید مدل ۰٫۶ میلیاردپارامتری برای سرعت و مصرف کم حافظه بهینه شده، درحالی‌که نسخه ۹ میلیاردپارامتری بر دقت تمرکز دارد.
چرا مهم است
توسعه‌دهندگان حالا می‌توانند مدل امبدینگ سبکی را مستقیماً روی گوشی‌ها یا دستگاه‌های کوچک اجرا کنند و به سرویس ابری نیاز نداشته باشند. تیم‌هایی که به جست‌وجو یا پیشنهاددهی دقیق نیاز دارند نیز می‌توانند از مدل پرظرفیت‌تر استفاده کنند و کنترل کامل داده‌هایشان را در دست داشته باشند، چون هر دو نسخه متن‌باز هستند.
