Yong Bai氏らの研究チームは、クリック率(CTR)予測向けの「Efficiently Scalable Transformer(EST)」を発表した。ESTはすべての生入力を単一のシーケンスとして処理するため、詳細が失われるおそれのある早期の集約を避けられる。また、冗長な相互作用を減らす「Lightweight Cross-Attention」と、重要度の高い行動を選び出す「Content Sparse Attention」を採用している。Taobaoのディスプレー広告プラットフォームでのテストでは、ESTは既存の本番モデルを上回った。
なぜ重要か
予測精度の向上により、Taobaoの広告主は広告表示1回あたりの収益増加を見込める。