Un team di ricercatori di LinkedIn descrive il passaggio da elenchi generati di risposte SÌ/NO a un sistema di valutazione semantica per assegnare etichette di idoneità ai profili. Invece di generare un elenco di decisioni, il sistema assegna un punteggio a ogni candidato con un singolo passaggio del modello, senza generare una risposta completa. Secondo il paper, il metodo ha modificato al massimo lo 0,01% delle decisioni al variare dell’ordine dei candidati e ha raggiunto lo stesso livello di concordanza con le etichette di riferimento della generazione raggruppata, usando circa 4,7 volte meno coppie di training.
Un metodo di elaborazione in batch chiamato Multiple-Item Scoring ha aumentato la capacità di elaborazione di 1,24 volte offline e di 1,9 volte durante il serving del modello, con un obiettivo di latenza al 99° percentile inferiore a un secondo. Il paper spiega che il sistema offline usa un’API riutilizzabile di Ray Data, mentre il serving sfrutta il supporto di SGLang.
Perché conta
Per i team che assegnano etichette ai profili LinkedIn, i miglioramenti riportati potrebbero consentire di elaborare più candidati rispettando gli stessi limiti di tempo per il serving; il paper non specifica se il metodo sia disponibile per altre organizzazioni.
