Perplexity AI, pplx-embed-v2-late modelinin iki yeni sürümünü duyurdu. Küçük sürüm 0,6 milyar parametreye sahip ve telefonlar ya da IoT cihazları gibi uç donanımlarda çalışacak şekilde tasarlandı. Büyük sürüm ise 9 milyar parametreli ve arama ya da öneri sistemleri için yüksek kaliteli vektör dizinleri oluşturmaya yönelik. Her iki model de MIT lisansı altında yayımlandı; dolayısıyla herkes modelleri indirip kendi sunucularında barındırabilir.
Modellerin performansı
Perplexity’nin kendi testlerinde 9 milyar parametreli model, soru yanıtlama doğruluğunu ölçen standart bir test olan MADQA karşılaştırma testinde %92,4 puan aldı. Aynı model, Markdown biçimindeki metinleri işleme becerisini ölçen ViDoRe v3 Markdown testinde %61,2 puan aldı. Şirket, 0,6 milyar parametreli modelin hız ve düşük bellek kullanımı için optimize edildiğini, 9 milyar parametreli modelin ise doğruluğa odaklandığını söylüyor.
Neden önemli
Geliştiriciler artık bulut hizmetine ihtiyaç duymadan hafif bir gömme modelini doğrudan telefonlarda veya küçük cihazlarda çalıştırabiliyor. Hassas arama ya da öneri özelliklerine ihtiyaç duyan büyük ekipler ise her iki sürüm de açık kaynaklı olduğu için verileri üzerinde tam kontrolü koruyarak daha yüksek kapasiteli modeli kullanabiliyor.
