Yong Bai가 이끄는 연구진은 클릭률(CTR) 예측을 위한 Efficiently Scalable Transformer(EST)를 선보였다. EST는 원시 입력을 모두 하나의 시퀀스로 처리해 세부 정보가 손실될 수 있는 초기 집계 과정을 피한다. 또한 Lightweight Cross-Attention으로 중복 상호작용을 줄이고, Content Sparse Attention으로 유의미한 행동 신호를 선별한다. 타오바오 디스플레이 광고 플랫폼에서 실시한 테스트에서 EST는 기존 운영 모델보다 우수한 성능을 보였다.
왜 중요한가
타오바오 광고주는 더 정확한 예측 덕분에 광고 노출당 수익이 늘어날 것으로 기대할 수 있다.