Pinterest、4BパラメーターのQwen3でユーザーの行動経路を推定

Pinterestは、ユーザーの関心を分類する従来の多段階システムを、4-billion-parameterのQwen3言語モデルを微調整したものに置き換えた。同社によると、米国とカナダで実施した初期テストでは、従来のシステムと比べてメールのクリック率が1.1%、プッシュ通知の開封率が1.3%上昇した。

Pinterestが「ジャーニー」と呼ぶのは、複数のセッションにわたるユーザーの関心、意図、状況を結びつける目標だ。たとえば、キッチンキャビネットを検索し、天板のアイデアを保存した後、タイルや照明を閲覧する行動は、別々の関心事ではなく、ひとつのリフォーム計画を示している可能性がある。このモデルは、推定したジャーニーをPinterest既存のレコメンドシステムに活用するもので、システム自体を置き換えるものではない。

新しいシステムの仕組みは？

従来のパイプラインは、ユーザーの行動からキーワードを抽出し、埋め込み表現と階層的クラスタリングを使って分類した後、別のモデルやルールでグループに名前を付け、順位付けしていた。Pinterestによると、この方法では関連する行動が別々のジャーニーに分かれたり、曖昧なラベルが付いたり、一度きりのクリックが継続的な意図として扱われたりすることがあった。

新しいモデルは、360日間に記録された最大150件の時系列順の行動と簡潔なユーザープロフィールを読み取り、順位を付けたジャーニー名を生成する。検索や保存の行動は、偶発的なクリックより重く扱われる。モデルへの指示では、行動の反復性、最近のものかどうか、具体性が重視される。また、無関係な関心事をまとめないこと、一度きりの行動を除外すること、根拠が弱い場合はジャーニーを返さないことも指示している。

Pinterestは大規模モデルを使ってユーザーの行動履歴から合成学習データを作成し、その後、オープンウェイトの小型Qwen3モデルを微調整した。0.6 billionから8 billionパラメーターのモデルを試した結果、推論の品質と処理速度のバランスを考慮し、4-billion-parameterモデルを選んだ。PinterestはL40S GPU上でNVIDIA DynamoとvLLMを使ってモデルを実行している。また、直近数日以内にジャーニーを生成済みのユーザーについては、推論を再実行しない。

Pinterestは何を測定したのか？

Pinterestは、並列比較や、ジャーニーが関連性を持ち、行動履歴に裏付けられているかを判定する別の言語モデル、オンライン実験を通じてジャーニーの品質を評価している。同社は初期のA/Bテストで、クリック率と開封率の上昇に加え、統計的に有意なエンゲージメントと継続率の改善が見られたと報告した。提示された説明では、継続率の改善幅は明らかにしていない。

この方法は、レコメンドシステムの改善に会員の長期的な行動履歴を活用するNetflixの取り組みに似ている。Pinterestはジャーニーを明示的な説明として生成する一方、Netflixは再利用可能な嗜好の表現を作る方法について説明している。どちらも、長期的な行動を既存のパーソナライゼーションシステムに反映させる。