연구진은 Roblox가 사용자별 광고 순위 산정 단계에 넘길 광고 소재를 추리는 데 현재 사용하는 시스템을 설명합니다. 이 시스템은 잠재고객 세그먼트, 아이템, 캠페인, 광고 소재 전반에 걸쳐 공유되는 데이터를 바탕으로 성과를 추정합니다. 따라서 새 광고 소재도 상위 그룹의 정보를 활용할 수 있습니다. 무작위 점수 하나를 사용해 충분히 테스트되지 않은 소재도 선택돼 학습에 활용될 기회를 얻습니다.
Roblox Sponsored Ads 트래픽을 재생해 테스트한 결과, 이 선별 방식은 예측 재생 완료율을 8.14% 높였습니다. 같은 수의 소재를 무작위로 추린 경우 상승폭은 2.80%였습니다. 연구진은 전체 소재 풀에 비해 후속 단계로 넘기는 소재가 40% 넘게 줄었고, 광고 게재 시간은 0.2% 늘었다고 밝혔습니다. 논문에 따르면 Roblox는 실제 환경에서 A/B 테스트를 진행한 뒤 이 시스템을 도입했습니다.
왜 중요한가
Roblox 광고주는 이 시스템을 통해 신규 광고 소재를 테스트할 기회를 얻는 동시에 후속 순위 산정 단계로 넘어가는 소재 수를 줄일 수 있습니다. 논문에는 실제 A/B 테스트의 결과가 공개되지 않았습니다.
