LinkedIn 연구팀은 프로필 자격 라벨을 매길 때 생성형 YES/NO 목록을 의미 기반 점수화 방식으로 대체한 사례를 소개했다. 결정을 나열하는 대신, 모델을 한 차례 실행해 전체 답변을 생성하지 않고 각 후보 라벨에 점수를 매긴다. 논문에 따르면 후보자 순서가 바뀌었을 때 결정이 달라진 비율은 최대 0.01%였으며, 기준 라벨과의 일치도는 유지하면서 패킹 생성 방식보다 학습 쌍을 약 4.7배 적게 사용했다.
Multiple-Item Scoring이라는 배칭 방식은 오프라인 처리량을 1.24배, 모델 서빙 처리량을 1.9배 높였다. 이때 99번째 백분위 지연 시간 목표는 1초였다. 논문에 따르면 오프라인 시스템은 재사용 가능한 Ray Data API를 사용하고, 서빙에는 SGLang의 지원 기능을 활용한다.
왜 중요한가
LinkedIn 프로필을 분류하는 팀은 보고된 성능 향상을 통해 동일한 서빙 시간 목표 안에서 더 많은 후보자를 처리할 수 있다. 다만 이 방식이 다른 조직에도 제공되는지는 논문에서 밝히지 않았다.
