Forskare under ledning av Yong Bai har introducerat Efficiently Scalable Transformer (EST), en modell för att förutsäga klickfrekvens (CTR). EST bearbetar alla rådata i en enda sekvens och undviker därmed tidig aggregering som kan leda till att detaljer går förlorade. Modellen använder Lightweight Cross-Attention för att minska överflödiga interaktioner och Content Sparse Attention för att välja ut beteenden med hög informationssignal. I tester på Taobaos plattform för displayannonsering presterade EST bättre än den befintliga produktionsmodellen.
Varför det spelar roll
Annonsörer på Taobao kan räkna med högre intäkter per annonsvisning tack vare mer träffsäkra prognoser.
