Une équipe de chercheurs de LinkedIn décrit le remplacement de listes de réponses OUI/NON générées par un système de notation sémantique pour attribuer des étiquettes de qualification aux profils. Au lieu de générer une liste de décisions, le système évalue chaque candidat au moyen d’un passage du modèle qui évite de produire une réponse complète. Selon l’article, cette méthode n’a modifié qu’au plus 0,01 % des décisions lorsque l’ordre des candidats changeait, et a obtenu le même niveau de concordance que la génération groupée par rapport aux étiquettes de référence, avec environ 4,7 fois moins de paires d’entraînement.
Une méthode de traitement par lots appelée Multiple-Item Scoring a augmenté le débit de 1,24 fois hors ligne et de 1,9 fois lors du service du modèle, avec un objectif de latence au 99e percentile inférieur à une seconde. L’article précise que le système hors ligne utilise une API Ray Data réutilisable et que le service du modèle s’appuie sur la prise en charge de SGLang.
Pourquoi c'est important
Pour les équipes qui étiquettent des profils LinkedIn, les gains annoncés pourraient leur permettre de traiter davantage de candidats dans le même délai de service. L’article ne précise pas si cette méthode est accessible à d’autres organisations.
