Pinterest가 사용자 관심사를 분류하던 다단계 시스템을 파인튜닝한 40억 매개변수 Qwen3 언어 모델로 대체했다. 회사는 미국과 캐나다에서 진행한 초기 테스트에서 기존 시스템에 비해 이메일 클릭률이 1.1%, 푸시 알림 열람률이 1.3% 높아졌다고 밝혔다.
Pinterest는 여러 세션에 걸친 한 사람의 관심사와 의도, 상황을 연결하는 목표를 ‘여정’이라고 부른다. 예를 들어 주방 수납장 검색, 조리대 아이디어 저장, 이후 타일이나 조명 탐색은 서로 별개의 관심사라기보다 하나의 리모델링 프로젝트를 가리킬 수 있다. 모델은 이렇게 추론한 여정을 Pinterest의 기존 추천 시스템에 활용하며, 그 시스템을 대체하지는 않는다.
새 시스템은 어떻게 작동하나?
기존 파이프라인은 활동 기록에서 키워드를 추출하고, 임베딩과 계층적 군집화를 이용해 키워드를 묶은 뒤 다른 모델과 규칙으로 그룹에 이름을 붙이고 순위를 매겼다. Pinterest에 따르면 이 방식은 연관된 행동을 여러 여정으로 나누거나, 모호한 이름을 붙이거나, 우연한 클릭을 지속적인 관심으로 취급할 수 있었다.
새 모델은 최대 150개의 행동 기록과 간결한 사용자 프로필을 입력받는다. 행동 기록은 360일에 걸친 시간순 데이터이며, 모델은 여정 이름을 생성해 순위를 매긴다. 검색과 저장 행동에는 우연한 클릭보다 더 큰 비중을 둔다. 모델 지침은 반복된 활동인지, 얼마나 최근의 일인지, 얼마나 구체적인지를 중점적으로 살피도록 한다. 또한 관련 없는 관심사를 합치지 않고, 한 번뿐인 활동은 걸러내며, 근거가 약하면 여정을 제시하지 않도록 한다.
Pinterest는 더 큰 모델을 사용해 활동 기록에서 합성 학습 사례를 만든 다음, 오픈 웨이트 Qwen3 소형 모델을 파인튜닝했다. 0.6 billion부터 8 billion 매개변수까지 모델을 시험한 뒤 추론 품질과 서비스 속도의 균형을 고려해 4-billion-parameter 버전을 선택했다. Pinterest는 L40S GPU에서 NVIDIA Dynamo와 vLLM을 사용해 모델을 실행하며, 최근 며칠 사이에 여정을 생성한 사용자는 추론을 다시 실행하지 않는다.
Pinterest는 무엇을 측정했나?
Pinterest는 나란히 비교하는 평가와 여정이 관련성이 있고 활동 기록으로 뒷받침되는지를 판단하는 별도의 언어 모델, 온라인 실험을 통해 여정의 품질을 평가한다. 회사는 초기 A/B 테스트에서 통계적으로 유의미한 참여도 및 유지율 개선이 나타났으며 클릭률과 열람률도 높아졌다고 밝혔다. 다만 제공된 설명에는 유지율 개선 폭이 제시되지 않았다.
이 접근법은 추천 시스템 개선을 위해 회원의 장기간 활동 기록을 활용하는 Netflix의 방식과 유사하다. Pinterest는 여정을 명시적으로 설명하는 반면, Netflix는 재사용 가능한 선호도 표현을 만드는 방식에 대해 설명한 바 있다. 두 회사 모두 장기적인 행동 정보를 기존 개인화 시스템에 반영한다.
왜 중요한가
이번 변화로 Pinterest 사용자는 여러 차례 방문에 걸쳐 나타난 활동을 더 잘 반영한 프로젝트 관련 이메일과 푸시 알림을 받을 수 있다. Pinterest는 초기 테스트에서 클릭률과 열람률이 높아졌다고 밝혔지만, 모든 사용자가 더 관련성 높은 추천을 받게 되는지, 유지율 개선 폭이 어느 정도인지는 확인되지 않았다.
