阿里可解釋性推薦算法應(yīng)用

　　導(dǎo)讀：本次分享主要介紹阿里健康在可解釋推薦算法方向上的探索、應(yīng)用。

　　01 推薦業(yè)務(wù)簡介

　　首先介紹一下阿里健康的業(yè)務(wù)背景和對現(xiàn)狀的分析。

　　1. 推薦場景展示

　　可解釋性推薦，舉例而言，如下圖中當當網(wǎng)“根據(jù)您瀏覽的商品推薦”(告訴用戶推薦的理由)及淘寶網(wǎng)“1000+居家控收藏”、“2000+數(shù)碼達人加購”均屬于可解釋性推薦，通過提供用戶信息來說明推薦商品的原因。

　　左圖中的可解釋推薦，有一種較為簡單的實現(xiàn)思路：推薦主要包含召回和排序兩大主要模塊，且召回往往涉及到多路召回，用戶行為召回也是常見的一種召回方式。可對經(jīng)過排序模塊后的商品進行判定，若商品來源于用戶行為召回池，則可在推薦的商品后添加相應(yīng)的推薦注釋。但該方法往往準確率精度不高，并未給用戶提供較多有效信息。

　　相比而言，右圖示例中可由對應(yīng)的解釋性文字提供給用戶更多的信息，如產(chǎn)品類別信息等，但該方法往往需要較多的人工干預(yù)，在特征到文本輸出環(huán)節(jié)進行人工處理。

　　而對于阿里健康，由于行業(yè)的特殊性，相比于其它場景，可能存在更多的限制。相關(guān)條例規(guī)定“三品一械”(藥品、保健食品、特殊醫(yī)藥用途配方食品和醫(yī)療器械)廣告中不允許出現(xiàn)“熱銷、排序、推薦”等文本信息。因此阿里健康需在遵從上述條例的前提下，結(jié)合阿里健康的業(yè)務(wù)對產(chǎn)品進行推薦。

　　2. 阿里健康的業(yè)務(wù)情況

　　阿里健康現(xiàn)有阿里健康自營店鋪和阿里健康行業(yè)店鋪兩類店鋪。其中自營店鋪主要含有大藥房、海外店和醫(yī)藥旗艦店，而阿里健康行業(yè)店鋪主要涉及到各品類旗艦店及私營店鋪。

　　就產(chǎn)品而言，阿里健康主要涵蓋常規(guī)商品、OTC 商品、處方藥三大類產(chǎn)品。常規(guī)商品，即定義為不是藥品的商品，對于常規(guī)商品的推薦，可展示較多信息，如品類銷量 top，超過 n+人收藏/購買等信息。而對于 OTC 及處方藥這類藥品商品的推薦，則受到相應(yīng)條例的約束，需更加結(jié)合用戶關(guān)注點進行推薦，如功能主治、用藥周期、使用禁忌等信息。

　　上述提到的可用于藥品推薦文字的信息主要有以下幾大來源：

　　商品評論(不含處方藥)。

　　商品詳情頁。

　　說明書等信息。

　　02 基礎(chǔ)數(shù)據(jù)準備

　　第二部分主要介紹商品的特征是如何提取及編碼的。

　　1. 商品的特征抽取

　　下面以藿香正氣水為例，展示如何從上述數(shù)據(jù)源進行關(guān)鍵特征的提�。�

　　標題

　　商家為增大產(chǎn)品的召回，往往會在標題中加入較多的關(guān)鍵詞，因此可通過商家自帶的標題描述進行關(guān)鍵詞的抽取。

　　產(chǎn)品詳情圖

　　可借用 OCR 技術(shù)基于商品的詳情圖中提取到商品的功能主治、核心賣點等更為全面的商品信息。

　　用戶評論數(shù)據(jù)

　　通過用戶基于某功能情感的得分，可對商品的對應(yīng)關(guān)鍵詞進行加權(quán)減權(quán)操作。如對于“防中暑”的藿香正氣水而言，可通過用戶評論中“防中暑”情感的打分，對其相應(yīng)的標簽進行對應(yīng)的權(quán)重處理。

　　藥品說明書

　　通過上述多種數(shù)據(jù)來源，可抽取出信息中的關(guān)鍵詞并構(gòu)建關(guān)鍵詞庫。由于抽取出來的關(guān)鍵詞存在較多重復(fù)、同義的情況，需對同義詞進行合并，并結(jié)合人工校驗，生成標準詞庫。最終可形成單個商品-標簽列表的關(guān)系，可用于后續(xù)編碼及在模型中的使用。

　　2. 特征編碼

　　下面介紹如何對特征進行編碼。特征編碼主要基于 word2vec 的方式進行 word embedding。

　　真實的歷史購買商品對數(shù)據(jù)可分為下述三大類：

　　(1)共同瀏覽商品對：用戶在一段時間(30 min)內(nèi)依次點擊的用戶定義為共同瀏覽數(shù)據(jù)。

　　(2)共同購買商品對：共同購買廣義而言，可定義為同一主訂單下子訂單間互夠為共同購買商品對;但考慮到實際用戶下單習(xí)慣，定義一定時間(10 min)內(nèi)同一用戶的下單產(chǎn)品數(shù)據(jù)。

　　(3)瀏覽后購買商品對：同一用戶在點擊 A 后又購買了 B 產(chǎn)品，A 與 B 互為瀏覽后購買數(shù)據(jù)。

　　通過對歷史數(shù)據(jù)進行分析，發(fā)現(xiàn)瀏覽后購買數(shù)據(jù)對商品間相似度較高：往往藥品核心功能相似，僅存在輕微不同，可將其定義為相似產(chǎn)品對，即為正樣本。

　　特征編碼模型仍基于 word2vec 的思想：主要是希望具有相似的產(chǎn)品/標簽間 embedding 更加接近。因此 word embedding 中正樣本定義為上述提到的瀏覽后購買商品對;負樣本則為共同瀏覽商品對和共同購買商品對的并集減去瀏覽后購買的商品對數(shù)據(jù)。

　　基于上述正負樣本對的定義，利用 hinge loss，可以學(xué)習(xí)每個商品的 embedding 用于 i2i 召回階段，也可同本場景中學(xué)習(xí)出標簽/關(guān)鍵詞的 embedding，用作后續(xù)模型的輸入。

　　上述方法有兩個優(yōu)點：

　　(1)特征僅用到產(chǎn)品特性，能在一定程度上解決冷啟動問題：對于新上架的商品，仍可通過其標題、商品詳情圖等信息獲取相應(yīng)標簽;

　　(2)正、負樣本的定義可用于不同的推薦場景：如若將正樣本定義為共同購買產(chǎn)品對，則訓(xùn)練出來的商品 embedding 可用于“搭配購買推薦”場景。

　　03 可解釋推薦模型

　　1. 可解釋模型背景介紹

　　業(yè)界現(xiàn)有較為成熟的可解釋類型主要包含內(nèi)置可解釋性( model-intrinsic )和模型無關(guān)可解釋性( model-agnostic )兩大類。

　　其中內(nèi)置可解釋性模型，如常見的 XGBoost 等，但 XGBoost 雖為端到端模型，但其特征重要度是基于整體數(shù)據(jù)集而言，不符合“千人千面”的個性化推薦要求。

　　而模型無關(guān)可解釋性主要是指重建邏輯模擬模型，并對模型進行解釋，如 SHAP，其可對單個 case 進行分析，可判定出預(yù)測值與實際值不同的原因。但 SHAP 復(fù)雜度較高，較為耗時，經(jīng)過性能改造后無法滿足線上性能需求。

　　因此需構(gòu)建一個端到端，且能對每個樣本進行特征重要度輸出的模型。

　　而高斯混合分布是多個高斯分布的組合，可輸出某個分布的結(jié)果值及每個樣本結(jié)果屬于某個分布的概率。因此可進行類比，將歸類后的特征理解為具有不同的分布的數(shù)據(jù)，

　　分別對對應(yīng)特征的預(yù)測結(jié)果：

　　及該預(yù)測在實際結(jié)果中的重要程度

　　進行建模。

　　2. 模型結(jié)構(gòu)圖

　　下圖為整體的模型結(jié)構(gòu)圖，左圖為選擇模型，可用作特征重要度的展示，右圖為特征對應(yīng)的預(yù)測模型。

　　具體而言，預(yù)測模型用于預(yù)測對應(yīng)特征預(yù)測/點擊的概率，而選擇模型則用于說明哪些特征分布是比較重要、可用于作為解釋性文字的展示。

　　3. 預(yù)測模型

　　下圖為預(yù)測模型的結(jié)果圖，預(yù)測模型主要借鑒了 DeepFM 的思想，包含一個深度模型和交叉模型。深度模型主要用于學(xué)習(xí)特征的深層表達，而交叉模型則用于學(xué)習(xí)交叉特征。

　　深度模型中，先提前對特征進行分組(假設(shè)共有 N 組)，如對價格、類別等相關(guān)的特征合并為價格、類別大類(圖中 field 字段)，并對每一組特征進行單獨的模型訓(xùn)練，并得到基于該組特征的模型結(jié)果。

　　對模型提前進行合并分組，具有下述兩個優(yōu)點：

　　(1)通過 N 個模型的獨立訓(xùn)練，可通過輸入特征的增減改變模型的復(fù)雜度，從而影響線上性能。

　　(2)對特征的合并分組可明顯減少特征量級，從而使人工將特征域轉(zhuǎn)化為文字時更加方便。

　　值得一提的是，attention 層理論上也可用于特征重要度的分析，但在本模型中未引入attention 的原因主要如下：

　　(1)若將 attention layer 放在太靠前位置則無法體現(xiàn)出特征深層表達的結(jié)果;

　　(2)若將 attention layer 放在較為靠后的位置，則無法回溯、無法找出核心特征。

　　而對于預(yù)測模型：

　　其交叉層并未沿用 FM 模型而是采用 CNN 代替 DeepFM 中 FM 結(jié)構(gòu)。FM 模型學(xué)習(xí)特征兩兩交叉結(jié)果，并通過數(shù)學(xué)公式直接計算兩兩交叉結(jié)果，避免計算時的維度爆炸，但其導(dǎo)致無法回溯特征重要度，因此在交叉模型中引入 CNN 替代原有結(jié)構(gòu)：采用 N 個特征進行相乘以實現(xiàn)特征交叉，再進行 CNN 的相應(yīng)操作。這樣使得特征值在輸入后經(jīng)過 pooling，concat 等操作后，仍可回溯。

　　除上述優(yōu)點外，該方法還有一個優(yōu)點：雖然現(xiàn)有版本僅是單個特征到單個描述文字的轉(zhuǎn)化，但仍希望未來能實現(xiàn)多特征交互的轉(zhuǎn)化。舉例而言，如果某用戶習(xí)慣購買100元低價產(chǎn)品，但若有原價50,000元商品打折至500出售，而用戶購買了該商品，模型可能因此將其定義為高消費用戶。但實際中，可能是因為高端品牌+高折扣雙重因素導(dǎo)致的用戶下單，因此需考慮組合邏輯。而對于 CNN-FM 模型而言，后期可直接利用 feature map 進行特征組合的輸出。

　　4. 選擇模型

　　選擇模型由 MLP 和 sparseMax 組成。值得一提的是，選擇模型中激活函數(shù)采用的是 sparsemax 而不是更為常見的的 softmax。圖像右邊依次是 sparsemax 的函數(shù)定義及 softmax 與 sparsemax 的函數(shù)對比圖。

　　從右下的圖中可看出，softmax 對重要度較低的輸出節(jié)點仍會賦予較小值，在該場景下會導(dǎo)致特征維度爆炸，且容易造成重要特征與不重要特征間的輸出沒有區(qū)分度。而 sparseMax 可以將輸出離散化，最終僅輸出較為重要的特征。

　　04 實驗效果展示

　　1. 實驗數(shù)據(jù)說明

　　線上效果數(shù)據(jù)主要來自于大藥房首頁曝光-點擊數(shù)據(jù)，為避免過擬合，也引入了部分其他場景曝光-點擊數(shù)據(jù)，數(shù)據(jù)比例為 4:1。

　　2. 離線指標

　　在離線場景下，該模型 AUC 為0.74。

　　3. 線上指標

　　由于線上場景已有 CTR 模型，考慮新版算法除更換模型外，還會展示對應(yīng)的解釋性文字，未控制變量，因此本次實驗并未直接采用 AB test。而是當且僅當線上 CTR 模型及新版算法預(yù)測值均高于特定閾值時，才會展示推薦理由的文本。上線后，新版算法 PCTR 提升 9.13%，UCTR 提升 3.4%。