Een team van LinkedIn-onderzoekers beschrijft hoe het gegenereerde lijsten met JA/NEE-antwoorden verving door semantische scores voor labels die aangeven of een profiel aan de criteria voldoet. In plaats van een lijst met beslissingen te genereren, beoordeelt het systeem elk kandidaatlabel met één modelrun, zonder een volledig antwoord te genereren. Volgens het artikel veranderde de aanpak hooguit 0,01% van de beslissingen wanneer de volgorde van kandidaten werd aangepast. Ook kwam de overeenstemming met referentielabels overeen met die van generatie in batches, met ongeveer 4,7 keer minder trainingsparen.
Een batchmethode met de naam Multiple-Item Scoring verhoogde de doorvoer offline met een factor 1,24 en bij model-serving met een factor 1,9, bij een doel voor de p99-latentie van één seconde. Volgens het artikel gebruikt het offline systeem een herbruikbare Ray Data API en maakt de serving-omgeving gebruik van ondersteuning in SGLang.
Waarom het ertoe doet
Voor teams die LinkedIn-profielen labelen, kunnen de gemelde verbeteringen betekenen dat ze binnen dezelfde maximale verwerkingstijd meer kandidaten kunnen verwerken. Het artikel zegt niet of de aanpak beschikbaar is voor andere organisaties.
