一點(diǎn)資訊田明軍：深度融合搜索+個(gè)性化推薦背景下的興趣引擎構(gòu)架

　　上圖是大家整個(gè)召回系統(tǒng)的結(jié)構(gòu)框架。通信模塊和存儲(chǔ)模塊集成了一些異步IO通信機(jī)制和緩存機(jī)制，提升了需要到多個(gè)索引庫里面查詢時(shí)并發(fā)的性能，提升了查詢效率。

　　另外兩個(gè)技術(shù)難點(diǎn)的解決主要靠意圖分析和查詢生成器，根據(jù)搜索和推薦不同的請(qǐng)求去適配到下游不同的索引庫里面去取內(nèi)容，同時(shí)在系統(tǒng)中的解耦算法和工程方面，提升系統(tǒng)可擴(kuò)展性和并發(fā)工作的效率。

　　查詢生成過程引入了邏輯層和物理層的概念，物理層即索引池，物理層對(duì)外暴露的是異構(gòu)索引系統(tǒng)的一些具體查詢的API接口，通過這些接口的調(diào)用真正完成具體的索引對(duì)內(nèi)容的獲取。而邏輯層更多體現(xiàn)在算法上，通過對(duì)查詢的意圖分析，轉(zhuǎn)化為邏輯層一個(gè)或多個(gè)從索引中獲取信息的意圖，例如熱點(diǎn)，興趣圖譜等。邏輯層到物理層的映射可以理解類似于搜索引擎里query rewrite的過程，每一邏輯層的意圖被翻譯成若干物理層索引API的調(diào)用。

　　以邏輯層的興趣圖譜為例，通過這個(gè)用戶畫像里面的具體興趣，比如，某位用戶對(duì)“互聯(lián)網(wǎng)思維”感興趣，基于興趣圖譜的獲取，它會(huì)把這個(gè)興趣點(diǎn)轉(zhuǎn)化成頻道推薦索引、搜索系統(tǒng)、人工運(yùn)維的精選池三方面的物理獲取途徑進(jìn)行查詢，從而召回一些關(guān)聯(lián)興趣頻道的內(nèi)容，相關(guān)源的內(nèi)容以及人工需要去展現(xiàn)出的內(nèi)容。

　　總之，通過這樣一種把邏輯層和物理層分開的方式，有效分離了算法邏輯設(shè)計(jì)和實(shí)際索引物理訪問之間的耦合，達(dá)到了讓二者工作更好并行的效果。

　　雙模型排序框架滿足搜索+推薦需求

　　最后和大家快速過一下我們?yōu)橹С稚疃热诤纤阉骱屯扑]，在排序框架和算法產(chǎn)品策略支持方面的一些工作。

　　在排序框架上，我們現(xiàn)階段主要支持兩種模型更新框架，一是周期性batch更新模型的框架，二是支持online learning的準(zhǔn)實(shí)時(shí)模型更新框架。能夠滿足現(xiàn)有的搜索和推薦方面在排序方面的需求。

　　工作流服務(wù)框架支持算法產(chǎn)品策略靈活調(diào)整

　　在算法產(chǎn)品策略方面，因需求靈活多變、對(duì)系統(tǒng)開發(fā)效率要求較高，我們引入了一個(gè)基于Akka actor model的流式的服務(wù)框架，采用全配置驅(qū)動(dòng)的方式動(dòng)態(tài)生成工作流，從而達(dá)到對(duì)產(chǎn)品邏輯、算法策略方面的快速支持。

　　今天的分享由于時(shí)間原因很快就要結(jié)束了，在摸索如何融合搜索引擎和個(gè)性化推薦系統(tǒng)我已經(jīng)走過三四年，這其中有許多我過去的思考以及在一點(diǎn)資訊團(tuán)隊(duì)所做的實(shí)踐方面的工作。整個(gè)興趣引擎要做的工作還非常復(fù)雜且有挑戰(zhàn)性，也非常歡迎對(duì)興趣引擎感興趣的同學(xué)能夠與我們有一些更多的交流。