新零售智能引擎事業群出品
CATN: Cross-Domain Recommendation for Cold-Start Users via Aspect Transfer Network
文章鏈接：https://arxiv.org/abs/2005.10549
代碼鏈接：https://github.com/AkiraZC/CATN
一、背景
在大型推薦場景中，存在著眾多類目（例如亞馬遜平臺中的書籍、影視推薦等）。用戶往往只與其中部分類目有過交互，對於其他類目，由於缺少相應的歷史行為記錄，協同過濾方法會遭遇冷啟動問題。
為了緩解冷啟動問題，一類可行的方法為利用用戶在其他類目上的歷史交互記錄進行知識遷移（跨領域推薦），比如，給喜歡武俠小說的用戶推薦古裝電影。同時，為了更細緻地刻畫用戶形象，參考用戶的歷史評論進行輔助推薦也能起到促進作用。
近年來，跨領域推薦和基於評論的個性化推薦均取得了不俗的進展，卻鮮有工作將二者結合。這類工作主要存在以下挑戰：1）用戶在不同類目下的關注點是不同的，且只有少量稀疏特性存在關聯，導致模型較難發現此類隱式關聯；2）對於在當前類目下無歷史記錄的冷啟動用戶，若直接利用其他類目下該用戶的評論文本，則會不可避免地帶來用戶特徵的抽取誤差，例如，喜歡粗糙質地工藝品的用戶，不一定會喜歡粗糙材質的衣物。鑑別不同類目間評論文本的語義差異，也是一個不小的挑戰。
針對以上問題，本文提出了一種挖掘用戶在不同類目下的評論關聯，進而對冷啟動用戶進行推薦的深度模型，稱作CATN。CATN將用戶在其他類目的歷史評論融合為用戶文檔，將商品在當前類目的歷史評論融合為商品文檔，通過抽取文檔中的多源aspect來表示用戶/商品的細粒度特徵關係，並引入“同好用戶”進一步增強用戶表示。實驗表明CATN能夠有效挖掘類目間的深層關聯，進而提升冷啟動用戶的推薦系統評分預測任務。
二、問題定義和抽象
電商平臺中有多個類目，設定當前類目為Target Domain，其他類目為Source Domain，我們的目標用戶為在Source Domain上有過歷史交互記錄，而在Target Domain上無歷史記錄的冷啟動用戶，推薦系統任務為評分預測任務。
現有的針對冷啟動用戶的跨領域推薦算法往往包含三個步驟，如Figure 1：① Target Domain下用戶/商品的表示學習；② Source Domain下用戶/商品的表示學習；③ 兩個類目下重疊用戶的映射學習。對於Target Domain中的冷啟動用戶，依據步驟③訓練的模型進行表示映射，進而展開推薦。
然而此類方法存在著以下缺陷：
1）將用戶/商品特徵映射為單個向量，忽略了細粒度建模；
2）步驟③的學習完全依賴於步驟①②的訓練結果，容易導致誤差積累；
3）不同類目間的關聯學習僅能通過重疊用戶的表示顯式學出，當兩個類目間重疊用戶的數量較少時，易導致訓練不足。
同時，現有方法僅僅基於用戶的歷史點擊行為進行表示學習，未能將評論文本納入其中，因而在用戶/商品特徵建模方面有所欠缺。
三、技術選擇
本文構建了一個端到端的深度神經網絡模型，主要解決Target Domain中冷啟動用戶的推薦問題。模型的基本思想是利用用戶在Source Domain中的評價文本數據進行知識遷移，整體訓練流程如Figure 2。其中左側藍色矩形和右側綠色矩形分別代表兩類訓練流程：將用戶在Source Domain的歷史評論文本應用到Target Domain進行推薦，反之亦然。這兩個流程在網絡結構上完全相同，我們定義了全局共享參數和流程特有參數，使兩個流程在訓練過程中以小批量輪流訓練，進而能夠充分學習兩個類目間的信息交互。
以左側流程為例，我們的模型結構如Figure 3，主要分為以下三個部分：
1）用戶興趣（商品特性）的細粒度抽取。我們將用戶的歷史評論文本彙總構成“用戶文檔”，“商品文檔”同之。以“用戶文檔”為例，首先將其映射
到詞向量空間E_u=(e_1,e_2,…,e_l ),接著進行一維文本卷積操作得到C_u=(c_(1,u),c_(2,u),…,c_(l,u) )，使用門控機制進行多細粒度的aspect特徵抽取g_(m,j,u)=(W_m c_(j,u)+b_m )⊙σ(W_m^g c_(j,u)+b_m^g ),m=1,2,…,M，其中M為預定義的aspect個數。“商品文檔”的操作與上述相同，且同一個流程中參數共享。為了克服不同類目間評論文本的語義差異，我們基於不同類目aspect query的注意力機制進行抽取，得到用戶的aspect表示A_u=[a_(1,u),...,a_(M,u)]。
其中v_(m,s)為Source Domain的aspect query，同樣地，Target Domain的aspect query v_(m,t)將作用於當前類目下評價文本的特徵抽取。
2）“同好用戶”評論輔助增強。鑑於兩個類目間的重疊用戶數量可能較少，我們嘗試利用與目標用戶有著相同興趣的用戶（同好用戶）評論進行輔助增強。“同好用戶”的定義可以根據其個人信息、歷史行為或社交關係作為依據，本文中我們參考了PARL [Wu et al. CIKM“2018]中的定義，將對同一件商品打分相同的用戶作為“同好用戶”，並將目標用戶的所有“同好用戶”所寫的評論融合得到其的輔助評論。鑑於輔助評論由不同用戶所撰寫，文字風格存在較大差異，我們設計了額外的文本卷積層，如Figure 3所示。經過與1）中相似的特徵抽取過程，得到輔助評論的aspect表示A_(u_aux )，最後利用基於門控機制的表示融合,得到最終的用戶特徵表示A_u。
3）跨領域關聯學習。用戶在不同類目間的興趣關聯往往是稀疏而有針對性的，因此我們設計了對應的稀疏矩陣結構進行刻畫。具體來講，全局aspect相關矩陣S由Source Domain和Target Domain下的aspect query表示相乘得到（leakyRelu激活函數體現稀疏性），具體的aspect匹配矩陣S_(u,i)由從文本特徵挖掘而來的aspect表示相乘得到，公式如下，其中b_u和b_i為用戶和商品的偏置項，r ̂_(u,i)為推薦預測分數。
四、技術創新
相較於現有方法，CATN主要在以下幾個方面具有創新性：
1）通過對用戶評論的細粒度特徵建模，有效刻畫了用戶/商品的細粒度特徵/興趣，以及跨類目間用戶的興趣關聯；
2)摒棄了先前工作的3-step訓練流程，通過端到端的訓練方式，有效避免了各階段的誤差累積；
3)通過引入“同好“用戶增強用戶表示，一方面增加了訓練數據的多樣性，另一方面從相似用戶的層面增強了對冷啟動用戶的推薦效果。
五、實驗
本文實驗在Amazon數據集中最大的三個類目（Book, Movie, Music）展開，兩兩配對形成三個場景，並在訓練集中按照不同比例採樣重疊用戶。實驗結果如Table 3，前5個baseline基於三步訓練策略，ANR [Chin et al. CIKM’18]為基於評論的aspect推薦方法，這裡直接將用戶在Source Domain 的評論與Target Domain的商品評論進行交互。由Table 3可知，CATN達到了最優的效果。
我們對模型的可解釋性進行分析，Figure 5為全局aspect相關矩陣S可視化圖，類目間的相關特徵往往集中於某一個/幾個區域。Table 6展示了場景1（Book-Movie）中評論文檔attention權重排名top5的詞彙，通過人工歸納標籤，發現Book類目第二/三個aspect為故事情節性的特徵，Movie類目第三個aspect為電影內容，二者具有強烈的相關性，體現在全局aspect相關矩陣S中右下角的幾個方塊顏色最深，說明CATN具有一定的推薦可解釋性。
更多信息檢索技術內容請查看：獨家下載！《SIGIR 頂會論文解讀》電子書重磅發佈