Ein Team von LinkedIn-Forschern beschreibt, wie es generierte JA/NEIN-Listen durch semantisches Scoring für Qualifikationslabels von Profilen ersetzt hat. Statt eine Liste mit Entscheidungen zu erzeugen, bewertet das System jedes Kandidatenlabel in einem Modelllauf, ohne eine vollständige Antwort generieren zu müssen. Dem Paper zufolge änderten sich bei einer anderen Reihenfolge der Kandidaten höchstens 0,01 % der Entscheidungen. Außerdem erreichte das Verfahren dieselbe Übereinstimmung mit Referenzlabels wie die gebündelte Generierung – mit etwa 4,7-mal weniger Trainingspaaren.
Eine Batch-Methode namens Multiple-Item Scoring steigerte den Durchsatz im Offline-Betrieb um das 1,24-Fache und beim Model Serving um das 1,9-Fache – bei einer angestrebten Latenz im 99. Perzentil von unter einer Sekunde. Laut Paper nutzt das Offline-System eine wiederverwendbare Ray-Data-API; beim Serving kommt die Unterstützung in SGLang zum Einsatz.
Warum es wichtig ist
Für Teams, die LinkedIn-Profile kennzeichnen, könnten die berichteten Verbesserungen bedeuten, dass sie innerhalb desselben Zeitlimits beim Serving mehr Kandidaten verarbeiten können. Das Paper sagt nicht, ob das Verfahren auch anderen Organisationen zur Verfügung steht.
