Uma equipe de pesquisadores do LinkedIn descreve a substituição de listas geradas de respostas SIM/NÃO por uma pontuação semântica para classificar perfis. Em vez de gerar uma lista de decisões, o sistema atribui uma pontuação a cada candidato em uma etapa de processamento com o modelo, sem gerar uma resposta completa. Segundo o artigo, a abordagem alterou no máximo 0,01% das decisões quando a ordem dos candidatos mudou e alcançou a mesma concordância com os rótulos de referência que a geração em lote, usando cerca de 4,7 vezes menos pares de treinamento.
Um método de processamento em lote chamado Multiple-Item Scoring aumentou a vazão em 1,24 vez no processamento offline e em 1,9 vez no atendimento do modelo, mantendo como meta uma latência de até um segundo no percentil 99. O artigo afirma que o sistema offline usa uma API reutilizável do Ray Data e que o atendimento conta com suporte no SGLang.
Por que importa
Para equipes que classificam perfis do LinkedIn, os ganhos relatados podem permitir processar mais candidatos dentro do mesmo limite de tempo de atendimento. O artigo não informa se a abordagem está disponível para outras organizações.
