Ett team av LinkedIn-forskare beskriver hur de ersatt genererade listor med JA/NEJ-beslut med semantisk poängsättning för att avgöra om profiler uppfyller kriterierna. I stället för att generera en lista med beslut poängsätter systemet varje kandidatetikett i en modellkörning, utan att generera ett fullständigt svar. Enligt artikeln ändrades högst 0.01% av besluten när kandidatordningen ändrades. Metoden gav samma överensstämmelse med referensetiketterna som packad generering, med ungefär 4.7 gånger färre träningspar.
En batchningsmetod kallad Multiple-Item Scoring ökade genomströmningen med 1.24 gånger offline och 1.9 gånger vid modellservering, med ett mål på under en sekund för latensens 99:e percentil. Enligt artikeln använder offlinesystemet ett återanvändbart Ray Data API, medan serveringen bygger på stöd i SGLang.
Varför det spelar roll
För team som klassar LinkedIn-profiler kan de rapporterade förbättringarna innebära att fler kandidater kan behandlas inom samma tidsgräns för serveringen. Artikeln säger inte om metoden är tillgänglig för andra organisationer.
