LinkedInの研究チームは、プロフィールの適格性を示すラベル付けで、生成モデルにYES／NOの一覧を出力させる方式から、意味に基づくスコアリングへ切り替えたと報告している。判断結果の一覧を生成する代わりに、モデルを1回実行して候補者ごとにラベルのスコアを算出し、回答全体の生成を避ける。この手法では、候補者の並び順を変えた場合に判断が変わる割合は最大でも0.01%だった。また、参照ラベルとの一致率は、候補者をまとめて生成する方式と同等ながら、学習用ペアは約4.7分の1で済んだという。
Multiple-Item Scoringと呼ばれるバッチ処理方式により、1秒の99パーセンタイル遅延を目標とした条件で、オフライン処理のスループットは1.24倍、モデルサービングでは1.9倍に向上した。論文によると、オフラインシステムでは再利用可能なRay Data APIを使い、サービングにはSGLangのサポートを利用している。
なぜ重要か
LinkedInプロフィールのラベル付けを行うチームにとって、報告された性能向上により、同じサービング時間の目標内でより多くの候補者を処理できる可能性がある。ただし、この手法を他の組織が利用できるかどうかは論文に記載されていない。
