WeSearch, 이제 위챗 검색 트래픽 전량 처리

위챗 검색용 신규 검색 시스템 WeSearch가 현재 서비스의 프로덕션 트래픽 100%를 처리하고 있다고 개발진이 밝혔다. 한 달간 전체 트래픽을 대상으로 진행한 A/B 테스트에서 클릭률(CTR)은 0.68%, 사용자당 기사 클릭 수는 2.27% 증가했다. 검색에 드는 리소스 비용은 41% 줄었고, 이미지·텍스트 검색 지연 시간은 19밀리초 단축됐다.

이 시스템은 수억~수십억 건의 문서가 담긴 컬렉션에서 위챗 검색이 관련 자료를 찾도록 설계됐다. 모든 문서에 주제 계층을 따라가는 하나의 고정 경로를 지정하는 대신, WeSearch는 먼저 검색어와 관련 있을 법한 문서 그룹을 찾은 뒤 각 그룹 안에서 개별 문서의 순위를 매긴다. 개발진은 여러 주제를 다루는 문서의 경우 하나의 고정 경로에 잘 들어맞지 않을 수 있는데, 이 방식이 그런 문제를 줄여준다고 설명한다.

검색 시스템에서 어떤 역할을 하나?

WeSearch는 위챗 검색에서 의미 기반 검색을 담당하며, 어휘 구문 트리와 함께 작동한다. 쉽게 말해 WeSearch는 의미를 바탕으로 콘텐츠를 찾고, 다른 구성 요소는 단어와 구조에 기반해 일치 항목을 찾는다. 개발진은 WeSearch가 검색의 모든 구성 요소를 대체하는 것이 아니라 두 부분이 함께 작동한다고 설명한다.

이 프레임워크는 문서 표현을 간결하게 만들고 관련성을 고려한 학습도 활용한다. 색인을 점진적으로 갱신할 수 있어 개발진은 모델을 매주, 필요할 경우 매일 업데이트할 수 있다. 콘텐츠가 계속 바뀌는 검색 서비스에서는 중요한 점이다. 색인을 전부 다시 구축할 때까지 업데이트를 미룰 필요가 없다.

개발진은 규모가 서로 다른 컬렉션을 대상으로 한 1주일간의 A/B 테스트에서 일관된 개선 효과가 있었다고 보고했지만, 초록에는 해당 테스트의 수치가 제시되지 않았다. CTR 변화의 산출 방식이나 독립적인 평가 결과도 명시하지 않았다. 따라서 보고된 한 달간의 결과는 위챗 검색 내에서 측정된 WeSearch의 성능을 보여주는 것이지, 다른 검색 시스템과의 일반적인 비교 결과는 아니다.