Perplexity AIは、「pplx-embed-v2-late」の新バージョンを2種類発表した。小型版はパラメーター数が6億で、スマートフォンやIoT機器などのエッジ端末で動作するよう設計されている。大型版は90億パラメーターで、検索やレコメンドシステム向けの高品質なベクトルインデックスの構築を想定している。どちらもMITライセンスで公開されており、誰でもダウンロードして自前のサーバーで運用できる。
モデルの性能
Perplexityの社内テストでは、90億パラメーター版は、質問応答の精度を測る標準的なテストであるMADQAベンチマークで92.4%を記録した。同モデルは、Markdown形式のテキスト処理能力を測るViDoRe v3 Markdownベンチマークでは61.2%だった。同社によると、6億パラメーター版は速度と省メモリー性能を重視して最適化され、90億パラメーター版は精度を重視している。
なぜ重要か
開発者は、クラウドサービスを使わずに、軽量な埋め込みモデルをスマートフォンや小型端末上で直接動かせるようになった。精度の高い検索やレコメンド機能を必要とする大規模チームは、より高性能なモデルを使いながら、データを完全に自社で管理できる。どちらのモデルもオープンソースで公開されているためだ。
