新零售智能引擎事業群出品
論文鏈接：https://arxiv.org/pdf/1910.07099.pdf
1. 全空間建模任務的背景
隨著移動互聯網的興起，從海量的數據中挖掘出有價值的信息並呈現給用戶，已成了電商、 社交、新聞等主流應用的核心功能，推薦系統正是在這樣的背景下誕生的。在電商領域，高 質量的推薦系統能為用戶提供精準、及時、甚至帶有一定驚喜性的個性化服務，進而有效地 增加了用戶與系統之間的黏性，同時也能為平臺帶來一定的收入。一般說來，電商領域(如 淘寶)的推薦系統架構主要包括兩個階段：系統決策和用戶決策，如下圖所示：
1）系統決策：淘寶上有數億商品，如何從中挑選最適合的少量商品展現給用戶呢？這就是 推薦系統存在的價值。推薦系統首先會根據用戶的長短期興趣召回大量(一般是千級別的數 量級)相關的商品；接著將頭部的商品傳遞給後續的精排階段。精排階段則結合著用戶、商 品、上下文等特徵，對商品的點擊率(CTR)、轉化率(CVR)等排序指標進行建模。然後，系統 會按照一定的商業目標(例如GMV)綜合所有的排序指標並計算出最終的排序分，最後系統會 將排序分最靠前的商品展現給用戶。由此可見，精準地預估CTR、CVR等排序指標對最後的商品展現起著至關重要的作用。
2）用戶決策：當商品曝光給用戶後，用戶會在商品上產生一系列行為。首先用戶會點擊令 他們感興趣的商品，接著還可能對點擊商品產生更進一步的購買行為，這一序列行為過程可 以表示成“Impression→Click→Buy”。另外，用戶各階段的行為數據會反饋給推薦系統做更 進一步的迭代升級。
通常來講，傳統的推薦系統會根據用戶在不同階段的反饋數據建立對應的算法模型，例如， 根據用戶從曝光到點擊階段的行為數據構建點擊率預估模型；根據用戶從點擊到購買階段的 行為數據構建轉化率預估模型等。但是，多階段獨立建模存在一些問題。以post-clickCVR 模型為例，直觀的建模方式是採用點擊數據：點擊且購買為正樣本，點擊非購買為負樣本； 但它存在兩個非常明顯的問題：
1）樣本選擇偏差(SampleSelectionBias，SSB)問題: 訓練CVR模型時，只採用點擊樣本； 但是線上serving的時候，用戶直接面對的是曝光商品，而不是點擊後的商品。這樣， training 空間和線上inference空間的不一致性，必然會使CVR預估產生有偏的結果，進而損失效 果及收益。因此，CVR建模時，應充分保障training空間與線上inference空間的一致性
2）數據稀疏性(DataSparsity,DS)問題: 通常說來，CVR任務的參數量與CTR任務的參數 量規模相當；但是如果只使用點擊數據訓練CVR任務，其樣本量將比CTR任務的樣本量小 1～3個量級，導致CVR模型參數的更新必然是不充分的，進一步會影響線上效果。 另外，建模時，我們還需要考慮每個任務與場景最終目標的關係。以商傢俬域推薦為例，它 的目標是GMV，雖然它與CTR、CVR都強相關，但是這並不意味著我們應該分階段獨立預 估CTR和CVR。根據我們的實踐經驗，模型能做到CVR很高，即點擊後商品的轉化率很 高；但是我們發現商品本身的CTR卻上不去，整體而言，用戶的成交筆數本身卻沒有明顯 的提升。事實上，我們建模時，應該從全局優化的角度出發，基於曝光(全)空間的建模則是 一個很好的切入點。
2. 全空間建模已有工作：ESMM模型
ESMM模型是阿里廣告算法團隊提出的首個同時解決SSB和DS問題的轉戶率預估模型。 具體而言，它基於用戶行為路徑“Impression→Click→Buy”建模，並引入了兩個基於全空間 的輔任務： “Impression→Click”(CTR)和“Impression→Buy”(CTCVR)。這樣，由CTR和CTCVR任 務推導而來的CVR任務也受益於全空間建模，保證了training空間與inference空間的一 致性，解決了SSB問題。
同時，ESMM借鑑了多任務學習的框架，讓作為主任務的CVR網絡和作為輔任務的CTR 網絡共享底層Embedding。事實上，Embedding的參數規模主導了整個網絡的參數量，它 依賴於數據規模同樣很大的曝光樣本，並生成較為準確的用戶和商品的特徵表達。 Embedding層的共享緩解了CVR任務正樣本稀疏的現狀，一定程度上解決了DS問題。 ESMM的模型結構圖如下：
總之，ESMM模型將CTR、CVR、及CTCVR任務融入到一個統一的模型架構中，線上場 景可以結合自己的業務目標選擇與之匹配的排序指標。精妙的模型結構同時解決了轉化率預 估模型中普遍存在的SSB和DS兩大關鍵性問題。
雖然ESMM模型的設計已經很精妙了，線上也取得了不錯的業務效果。但是，當我們進一 步分析實際的業務數據後，發現ESMM模型還有進一步的優化空間。 1）ESMM模型對用戶的行為路徑建模過於簡單，僅僅只考慮了“Impression→Click→Buy”。 事實上，用戶的行為路徑是十分複雜的，例如，用戶點擊商品後，可能不會直接購買，而是 先將商品加入購物車中，再通過購物車路徑產生購買行為，這樣該用戶的行為路徑就變成了 “曝光->點擊->加購->購買”；那麼，我們在建模過程中應該如何考慮用戶更加真實且複雜的 行為路徑呢？
2）根據業務數據分析發現，用戶產生的購買正樣本非常稀疏，例如從曝光到最後的購買， 往往在千分之幾甚至萬分之幾的量級。正樣本量的稀疏對轉化率預估模型的構建提出了不小 的挑戰。雖然ESMM模型藉助於Embedding共享的技術一定程度上緩解了樣本稀疏性的 問題，但是卻不能直接解決購買樣本天然缺乏的問題，一種較直接的解法是引入用戶更多與 購買相關的反饋信息。事實上，我們發現，用戶在點擊商品詳情頁後，往往會發生很多與購 買行為強相關的post-click行為，例如加購、收藏行為等。那麼，我們如何引入與用戶購買 行為強相關的post-click行為進一步構建轉化率預估模型呢？
3. ESM^2: 基於全空間的概率分解
3.1 ESM^2 建模動機
用戶對商品的購買決策過程是非常複雜的，如下圖(a)所示，例如，用戶點擊商品後，可能 先加入購物車，然後再通過購物車購買商品；又或者，用戶點擊商品後，先加入購物車，再 通過購物車打開商品詳情頁接著再加入收藏夾，最後通過收藏夾購買等；顯然，用戶從點擊 到購買的行為路徑是多樣化的，而我們在建模時不可能枚舉所有從點擊到購買的行為路徑。
事實上，我們可以在點擊到購買路徑中插入若干預先定義好的關鍵節點，例如加購(cart)、 收藏(wish)等，如上圖(b)所示。例如，用戶點擊商品後，先加購再購買；或點擊後，先收 藏再購買等。定義的關鍵節點簡化了用戶非常複雜的購買決策過程，同時又為建模提供了理 論上的可能性。值得一提的是，我們定義的關鍵節點需要同時滿足如下3個特性：
1）這些節點自帶用戶直接的反饋信號，例如用戶是否發生加購行為，是否發生收藏行為等
2）相比購買行為，這些節點對應的數據稀疏性問題能得到一定的緩解，例如從點擊到購買 的轉化率為2.5%，但是從點擊到加購(收藏)的概率分別為8.3%(3.2%)。
3）關鍵節點與用戶的購買行為強相關，例如，從加購到購買的概率為18.4%，從收藏到購 買的概率為6.3%等。
接著，我們再針對關鍵節點定義若干算子事件，而這些算子事件的作用在於對商品post-click 空間進行完備劃分。例如，當關鍵節點是加購和收藏時，那麼對post-click空間完備劃分的 一種方案可以是 和與之對應的補集 ，如上圖(c)所示。有了基於商品 post-click空間的完備劃分，自然的，我們可以引入全概率的思想對轉化率預估進行建模。假 設事件1 、 2 、 ... 、 為post-click空間的一種完備劃分，從點擊到事件發生的概率為， 且事件到購買的概率為，那麼，post-clickCVR定義為： =1 ，其中 =1 =1。 接下去，我們以 和 作為post-click空間完備劃為為例，推導post-click CVR的全概率建模過程。為了敘述方便，我們定義事件DAction代表事件 ， OAction代表事件 ，如上圖(d)所示。
3.2 轉化率 CVR的全概率建模推導
首先，我們用符號 am代表商品的點擊率,它代表圖中路徑Impression→Click，進一步可以數 學化為：
其中，我們用b代表b=1。另外，商品只有點擊後才會有後續購買行為發生，所以， 
。這樣，基於全空間的用戶行為圖：I mpression→Click→DAction/Action→Buy被分解成Impression→Click和C lick→DAction/OAction→Buy。換句話說，根據鏈式法則，等式（4）集成了等式（1）和等式（3）的結果。
3.3 ESM^2 模型結構
根據上面的全概率公式推導發現：pi ctr、pi ctavr、pi ctcvr這三個基於全空間的輔助任務能由y1i、 y2i、y3i及y4i四個隱變量推導而來，而這4個隱變量分別代表了路徑Impression→Click、 Click→DAction、DAction→Buy、OAction→Buy發生的條件概率。一方面，這4個隱變量 的訓練全都是基於曝光樣本得到的，以y2i為例，直接用Click→DAction的樣本訓練會產生 SSB問題，但是我們注意到y2i能由pi ctr和pi ctavr根據公式(2)推導而來，並且pi ctr和pi ctavr是基於 全空間建模的，這樣推導而來的y2i也受益於全空間建模，消除了SSB問題。另一方面，三 個輔助任務pi ctr、pi ctavr、pi ctcvr的label很容易從用戶行為日誌中得到，三個輔助任務的引入 會幫助學習相關的4個隱變量的學習，而多個變量的學習可以藉助於multi-task的框架。整個模型結構如下圖所示：
模型解讀：
1）整個模型結構上分為Input、SEM、DPM、SCM四個部分；Input為原始的One-hot編碼 特徵輸入， SEM則將one-hot進行embedding編碼表達，所有的4個子網絡共享embedding。接 著DPM通過4個網絡分別預估出4個隱變量的值；最後，SCM則根據上一節推導的概率公 式計算出pi ctr、pi ctavr、pi ctcvr及pi cvr的值，並配合上相應的label進行loss的計算。
2）用於建模1、2、3及4這4個隱變量的4個網絡的輸入都是曝光樣本，這樣由它們 推導而出的 bm也受益於全空間建模，解決了直接從點擊到購買建模CVR帶來的SSB問題
3）引入充足且與購買行為強相關的post-click行為，進一步緩解購買正樣本稀疏的DS問題
3.4 ESM^2 模型實驗結論
為了進一步評估ESM^2模型的效率，我們做了大量的離線和在線實驗，對比的模型主要包 括GBDT、DNN、DNN-OS、ESMM。其中，DNN模型分別使用“曝光到點擊”、“點擊到購 買”的樣本訓練點擊率(ctr)和轉化率(cvr)模型，再將兩個預估分相乘得到ctcvr分；DNN-OS 模型則針對“點擊到購買”的樣本進行了過採樣，其他操作類似於DNN模型；ESMM則基於 用戶行為序列“Impression→Click→Buy”訓練多任務模型，同時得到ctr、cvr和ctcvr(ctr*cvr) 預估分。
離線實驗結論：我們對比過AUC和F1分數， ESM^2模型效果表現均最好，例如相比ESMM 模型，在CVRAUC上提升0.0088。
離線AUC評估結果：
離線F1評估結果：
在線實驗結論： ESM^2在所有的對比模型中，表現也是最好的。例如，相比之前最好的 ESMM模型，轉化率提升超過3%。
ESM^2線上效果:
另外，我們還做了大量的Ablation實驗，包括網絡參數設置、post-click行為選取等，具體 實驗結論如下：
網絡參數設置實驗：
post-click 行為選取：
4. 總結與展望
本文在ESMM模型的基礎上，充分考慮到了用戶點擊後的 post-click行為，進一步地提出 了 ESM^2 模型，它建模用戶行為路徑時從傳統的“Impression→Click→Buy”升級為 “Impression→Click→DAction/Action→Buy”，它緩解了SSB和DS問題，並且從離線/在線 實驗來看，效果均好於其他相關的代表模型。後續工作將進一步圍繞引入更加豐富的 post-click行為展開。
5. 參考文獻
[1] Xiao Ma, Liqin Zhao, Guan Huang, Zhi Wang, Zelin Hu, Xiaoqiang Zhu, and Kun Gai. 2018. Entire space multi-task model: An effective approach for estimating post-click conversion rate. In T h e 4 1 s t I n t e r n a ti o n a l A C M S I G I R C o n f e r e n c e o n R e s e a r c h & D e v e l o p m e n t i n I n f o r m a ti o n R e tri e v a l . ACM, 1137 –1140.
[2] Hong Wen, Jing Zhang, Quan Lin, Keping Yang, and Pipei Huang. 2019. MultiLevel Deep Cascade Trees for Conversion Rate Prediction in Recommendation System. In P r o c e e d i n g s o f t h e A A A I C o n f e r e n c e o n A rtifi c i a l I n t e lli g e n c e .
[3] Yelong Shen, Xiaodong He, Jianfeng Gao, Li Deng, and Grégoire Mesnil. 2014. A latent semantic model with convolutional-pooling structure for information retrieval. In P r o c e e d i n g s o f t h e 2 3 r d A C M i n t e r n a ti o n a l c o n f e r e n c e o n c o n f e r e n c e o n i n f o r m a ti o n a n d k n o w l e d g e m a n a g e m e n t . ACM, 101–110.
[4] Yufei Feng, Fuyu Lv, Weichen Shen, Menghan Wang, Fei Sun, Yu Zhu, and Keping Yang. 2019. Deep Session Interest Network for Click-Through Rate Prediction. a r X i v p r e p ri n t a r X i v : 1 9 0 5 . 0 6 4 8 2 (2019).
[5] Guorui Zhou, Xiaoqiang Zhu, Chenru Song, Ying Fan, Han Zhu, Xiao Ma, Yanghui Yan, Junqi Jin, Han Li, and Kun Gai. 2018. Deep interest network for click-through rate prediction. In P r o c e e d i n g s o f t h e 2 4 t h A C M S I G K D D I n t e r n a ti o n a l C o n f e r e n c e o n K n o w l e d g e D i s c o v e r y & D a t a M i n i n g . ACM, 1059– 1068.
[6] Han Zhu, Junqi Jin, Chang Tan, Fei Pan, Yifan Zeng, Han Li, and Kun Gai. 2017. Optimized cost per click in taobao display advertising. In P r o c e e d i n g s o f t h e 2 3 r d A C M S I G K D D I n t e r n a ti o n a l C o n f e r e n c e o n K n o w l e d g e D i s c o v e r y a n d D a t a M i n i n g .
[7] Han Zhu, Xiang Li, Pengye Zhang, Guozheng Li, Jie He, Han Li, and Kun Gai. 2018. Learning Tree-based Deep Model for Recommender Systems. In P r o c e e d i n g s o f t h e 2 4 t h A C M S I G K D D I n t e r n a ti o n a l C o n f e r e n c e o n K n o w l e d g e D i s c o v e r y & D a t a M i n i n g . ACM, 1079–1088.
[8] Fuyu Lv, Taiwei Jin, Changlong Yu, Fei Sun, Quan Lin, Keping Yang, and Wilfred Ng. 2019. SDM: Sequential deep matching model for online large-scale recommender system. In P r o c e e d i n g s o f t h e 2 8 t h A C M I n t e r n a ti o n a l C o n f e r e n c e o n I n f o r m a ti o n a n d K n o w l e d g e M a n a g e m e n t . 2635–2643.
更多信息檢索技術內容請查看：獨家下載！《SIGIR 頂會論文解讀》電子書重磅發佈