跨語言檢索、檢索增強生成……一文看懂最火大模型AI搜索技術(shù)

　　引言：2023年，大模型技術(shù)迎來顛覆性突破，新興AI應(yīng)用不斷涌現(xiàn)，重塑著人類、機器與智能的關(guān)系。一場人工智能風(fēng)暴，席卷世界。為此，昆侖萬維天工團隊重磅推出「天工一刻」系列內(nèi)容，對大模型上下游技術(shù)進行一次全面解讀，涵蓋學(xué)術(shù)熱點、技術(shù)創(chuàng)新、應(yīng)用案例等。希望我們的內(nèi)容能為所有關(guān)注大模型技術(shù)的讀者，提供一些借鑒與參考。

　　問：把大模型放進AI搜索里，要做哪幾步?

　　答：搜索里的每一步。

　　對于廣大用戶而言，大模型的能力最直觀體現(xiàn)在答案生成上。用戶向“天工”AI搜索提問后，大模型將直接結(jié)合搜索內(nèi)容生成答案，無需用戶在紛繁冗雜的鏈接集合中親自尋找。

　　但事實上，大模型在“天工”AI搜索里發(fā)揮的作用，可遠不僅僅在此。

　　數(shù)據(jù)搜集、索引建立、檢索算法設(shè)計、排序算法設(shè)計、向量數(shù)據(jù)庫、檢索增強生成、搜索結(jié)果生成……大模型的能力貫穿了“天工”AI搜索的幾乎每一個環(huán)節(jié)。

　　對于用戶而言，大模型加持的新一代搜索引擎，能夠讓搜索結(jié)果更精準(zhǔn)、更高效、更可信;

　　而對于搜索引擎的設(shè)計者而言，大模型加持，能讓開發(fā)人員投入更少的重復(fù)工作、更快的開發(fā)速度、得到更好的搜索效果。

　　本文將從以下方向介紹與AI搜索引擎相關(guān)的大模型技術(shù)：

　　1.為什么搜索引擎這么難做?

　　2.搜索三大環(huán)節(jié)：數(shù)據(jù)、檢索、匹配

　　3.大模型AI搜索關(guān)鍵技術(shù)有哪些?

　　01 搜索引擎的歷史和萬維網(wǎng)一樣長

　　很少人知道，搜索引擎的歷史，和萬維網(wǎng)(www)一樣長。

　　1990年，萬維網(wǎng)之父蒂姆·伯納斯-李(Tim Berners-Lee)剛剛將WorldWideWeb瀏覽器和Web服務(wù)器的源代碼發(fā)布到了互聯(lián)網(wǎng)上，HTTP協(xié)議還要數(shù)年之后才會出現(xiàn)。

　　當(dāng)時，F(xiàn)TP(文件傳輸協(xié)議)仍是網(wǎng)絡(luò)文件共享的主要工具。但不同的FTP文件零星儲存在互聯(lián)網(wǎng)的各個角落，沒有具體的文件地址就無法訪問。

　　為了解決這個問題，三名加拿大蒙特利爾的大學(xué)生聚在一起，發(fā)明了一款用于FTP文件資源檢索的工具——Archie。使用Archie，用戶只需要知道文件名稱，就能夠查詢文件所在FTP地址。

　　這三名年輕人沒有意識到，他們隨手的一個舉動，竟揭開了互聯(lián)網(wǎng)歷史上全新的一頁——搜索引擎。

　　自此，全球第一款互聯(lián)網(wǎng)搜索引擎誕生，互聯(lián)網(wǎng)搜索概念迎來大爆發(fā)。

　　3年后，世界上第一個互聯(lián)網(wǎng)互聯(lián)網(wǎng)爬蟲程序誕生;

　　4年后，世界上第一個既可搜索又可瀏覽的分類目錄誕生、基于網(wǎng)站索引的門戶網(wǎng)站雅虎誕生、日后名噪一時的 Infoseek搜索引擎誕生;

　　此后，全球搜索引擎層出不窮;

　　8年之后，谷歌誕生。

　　從1990年至今，三十多年間，搜索技術(shù)已經(jīng)逐漸滲透到了我們電子生活的方方面面。除了傳統(tǒng)意義的搜索引擎外，社交軟件、電商平臺、視頻APP、職場APP、甚至外賣APP中，搜索技術(shù)都扮演著重要的角色。

　　02 238萬億億粒沙子

　　設(shè)計一個搜索引擎，大致需要以下步驟：收集及處理數(shù)據(jù)、建立索引、設(shè)計檢索算法、信息匹配與排序、返回結(jié)果并呈現(xiàn)搜索答案。

　　這些環(huán)節(jié)又可以大致分為三步：數(shù)據(jù)、檢索、匹配。

　　第一步，把互聯(lián)網(wǎng)上海量的數(shù)據(jù)(如網(wǎng)頁、文檔、內(nèi)容等)收集起來，并對它們進行初步的處理。

　　第二步，給每個數(shù)據(jù)打上合適的“標(biāo)簽”，再分門別類地儲存到數(shù)據(jù)庫里，并設(shè)計一套精妙的檢索方案，讓自己隨時能夠找到合適的數(shù)據(jù)。

　　第三步，收到用戶發(fā)出的搜索指令后，對該指令進行拆解分析、提取核心信息，然后把與這一指令有關(guān)的眾多數(shù)據(jù)按照相關(guān)性進行排序，最終匹配呈現(xiàn)最佳答案。

　　聽上去似乎不難，但如果你考慮到全球范圍內(nèi)究竟有多少數(shù)據(jù)，這事就遠不簡單了。

　　根據(jù)IDC Global DataSphere 2023數(shù)據(jù)，2022年，全球范圍內(nèi)的數(shù)據(jù)總量達到了103.66ZB，其中中國數(shù)據(jù)總量達到了23.88ZB，年均增長速度高達26.3%。

　　如果你對這幾個天文數(shù)字沒什么概念的話，打個比方：1ZB數(shù)據(jù)是10萬億億字節(jié)，而整個地球上所有沙子加起來，大概也就56萬億億粒。

　　也就是說，2022年，全中國的數(shù)據(jù)總量超過了238萬億億字節(jié)——比四個地球的沙子加起來還多。

　　在四個地球的沙子里，找到一粒符合要求的沙子，難度可想而知。

　　03 把大模型裝進AI搜索里

　　自1990年至今的三十多年間，搜索技術(shù)經(jīng)歷了多番迭代升級，逐漸變成了一個復(fù)雜的系統(tǒng)性工程——涵蓋數(shù)據(jù)庫、索引、檢索、自然語言處理、甚至計算機視覺等諸多交叉學(xué)科。

　　近年間，預(yù)訓(xùn)練Transformer模型橫空出世，在人工智能領(lǐng)域掀起革命，此后，以GPT為代表的大語言模型(LLM, Large Language Model)席卷全球，沖擊著各行各業(yè)。

　　搜索也不例外。

　　大模型對于搜索技術(shù)的重塑，貫穿每一個環(huán)節(jié)。

　　首先是數(shù)據(jù)。在搜索技術(shù)的諸多環(huán)節(jié)之中，數(shù)據(jù)的收集與處理是被討論得最少的環(huán)節(jié)，卻也是最重要的環(huán)節(jié)之一。

　　數(shù)據(jù)收集處理之于搜索引擎，相當(dāng)于地基之于摩天大樓。

　　沒有數(shù)據(jù)的積累，再好的檢索算法也是巧婦難為無米之炊。然而，數(shù)據(jù)質(zhì)量也分優(yōu)良中差。

　　上文提到，2022年，全中國的數(shù)據(jù)總量超過了238萬億億字節(jié)，這其中包含的可能是千億級別的網(wǎng)頁內(nèi)容、百億級別的音視頻內(nèi)容。

　　這其中，又充斥著海量重復(fù)信息、虛假新聞、廣告內(nèi)容……傳統(tǒng)的搜索引擎需要大量的資源對這些信息進行初步的篩選與處理，但耗時長、效率低、成本高。

　　而在昆侖萬維“天工”AI搜索的設(shè)計之初，就在數(shù)據(jù)收集與索引環(huán)節(jié)引入了大模型技術(shù)，對互聯(lián)網(wǎng)上海量內(nèi)容進行識別和篩選，屏蔽虛假廣告內(nèi)容，再引入網(wǎng)站權(quán)威性、可靠性等其他影響因子，初步清洗出較為純凈、高質(zhì)量的搜索結(jié)果。

　　目前，昆侖萬維“天工”AI搜索團隊已經(jīng)累計索引了上百億優(yōu)質(zhì)數(shù)據(jù)資源，用戶使用天工AI搜索時，將會顯著地體會到搜索結(jié)果質(zhì)量更高，冗余信息更少。但是，這還不夠。

　　根據(jù)W3Techs數(shù)據(jù)，截止至2020年，全球前100萬網(wǎng)頁中，英文網(wǎng)站內(nèi)容占比59.3%，中文網(wǎng)站內(nèi)容占比僅為1.3%。在當(dāng)前全球信息版圖中，英文信息數(shù)量幾乎是中文的45倍。即便拋開中文APP的信息孤島因素，全網(wǎng)英文信息數(shù)量至少也是中文的10倍以上。特別是在人工智能、生物醫(yī)學(xué)等前沿科技領(lǐng)域，最新、最快、最“硬核”的內(nèi)容幾乎全部來自英文網(wǎng)站。

　　這個問題，大模型能解決嗎?

　　能。

　　為了解決這一問題，昆侖萬維“天工”AI搜索團隊在搜索引擎中引入了當(dāng)今最前沿的跨語言檢索技術(shù)(Cross-Language Information Retrieval，CLIR)。

　　利用大模型的跨語言理解能力，跨語言檢索技術(shù)能夠讓用戶在使用一種語言(如中文)查詢時，搜索引擎依然能在全球范圍內(nèi)，深入英文知識庫和學(xué)術(shù)文獻進行檢索，并將有用的信息翻譯整合，最終生成全面、安全、準(zhǔn)確的中文回答。

　　有了大模型技術(shù)“加持”，即便用戶只用中文進行查詢，天工AI搜索也能提供來自全球的最新信息，大大擴展了答案的知識邊界。

　　除此之外，理解用戶搜索指令(Query)也是大模型技術(shù)發(fā)揮作用的環(huán)節(jié)。如果把搜索比作下館子，數(shù)據(jù)處理是廚師買菜洗菜，理解用戶指令是看懂用戶“點的菜”，檢索和答案呈現(xiàn)就是炒菜和上菜。你以為用戶在點菜的時候會說“給我來盤宮保雞丁”，但實際上，用戶說的往往是“今天想吃個糊辣口的東西，最好有雞肉，要川派做法，不要京派的。最好帶點甜，不甜也沒關(guān)系。”沒想到吧?讀懂用戶指令也是個大難題。

　　因此，昆侖萬維“天工”AI搜索團隊在用戶搜索指令理解環(huán)節(jié)就加入了大模型技術(shù)，對用戶搜索指令做Query改寫，深入挖掘用戶真實意圖，并敏銳地捕捉到查詢語句中的上下文關(guān)系，從而得到更精確、更相關(guān)、更合心意的搜索結(jié)果。

　　而在檢索與匹配環(huán)節(jié)中，大模型可發(fā)揮的用處則更多。在搜索引擎的設(shè)計中，最核心的兩項技術(shù)是“召回(Match)”和“排序(Rank)”。

　　召回指的是從數(shù)據(jù)庫的全量信息集合中觸發(fā)盡可能多的正確結(jié)果，并將結(jié)果返回。排序又分為“粗排”和“精排”，指的是根據(jù)用戶搜索內(nèi)容的相關(guān)性，對召回結(jié)果進行排序。在召回與排序環(huán)節(jié)里，“相關(guān)性”是最重要的目標(biāo)之一。

　　傳統(tǒng)搜索引擎花了海量的資源投入在“人工相關(guān)性”中，需要大量人力資源去充分理解用戶搜索指令跟目標(biāo)內(nèi)容之間相匹配的特征、頻次、距離、長短等等，幾乎每個抽象算子都需要有專人去做人工分析，實時調(diào)校算法參數(shù)。面對海量的互聯(lián)網(wǎng)信息，這種做法必然難度大、成本高、耗時長、效率低。大模型在此時發(fā)揮了它的作用。

　　昆侖萬維“天工”AI搜索的召回與排序環(huán)節(jié)中，大量引入了大模型能力。訓(xùn)練好的大模型能夠模仿人類的識別判斷能力，判斷搜索指令(Query)和被搜索文檔(Doc)是否具有相關(guān)性，并將這些匹配好的相關(guān)性樣本當(dāng)作“教科書案例”讓搜索引擎學(xué)習(xí)，進而提升搜索引擎的召回、排序性能，并且實現(xiàn)模型側(cè)的端對端迭代。

　　除了效率更高、耗時更短外，更重要的是，由于人類存在個體差異、認知差異、判斷差異，即便是同一個人在不同時刻的評估結(jié)果都會有所不同。相較于人工評估，大模型能夠提供更加穩(wěn)定的輸出結(jié)果。除了上述對搜索技術(shù)的重塑、優(yōu)化、改良外，但在更前沿的科研領(lǐng)域，大模型還在顛覆著搜索引擎的核心架構(gòu)。

　　比如，在昆侖萬維“天工”AI搜索中，引入了當(dāng)前大模型學(xué)術(shù)界、產(chǎn)業(yè)界最火的研究方向之一——檢索增強生成(RAG)技術(shù)。

　　RAG將信息檢索與答案生成這兩個環(huán)節(jié)結(jié)合在了一起，其技術(shù)路徑可以簡化理解為：用戶提問——在數(shù)據(jù)庫中檢索相關(guān)答案——系統(tǒng)將用戶的提問及檢索出的相關(guān)答案一起合成Prompt——將Prompt提交給大模型——大模型返回提問結(jié)果。

　　(RAG技術(shù)原理圖，來自論文《Retrieval-Augmented Generation for Knowledge-intensive NLP Tasks》)

　　引入了檢索環(huán)節(jié)，RAG技術(shù)能夠顯著提高搜索答案質(zhì)量，還能為答案輸出提供可解釋性，一定程度避免了大模型“胡說八道”的傾向。尤其是在面對復(fù)雜的、需要深度理解的知識檢索場景時，RAG技術(shù)的效果非常優(yōu)秀，在準(zhǔn)確率、召回率等關(guān)鍵指標(biāo)上都超越了不少傳統(tǒng)檢索方法。

　　結(jié)語

　　在海量信息面前，人類對于信息精準(zhǔn)匹配的需求日益強烈。搜索，變得越來越重要。

　　與此同時，搜索的形態(tài)，也在悄然發(fā)生改變。

　　大模型時代，隨著各類“GPT”的不斷涌現(xiàn)，信息檢索和生成的界限日趨模糊。2023年2月，微軟發(fā)布集成ChatGPT的AI搜索引擎New Bing，2023年5月，谷歌推出試驗版AI搜索引擎Search Generative Experience，2023年8月，昆侖萬維推出國內(nèi)第一款大模型搜索引擎天工AI搜索，越來越多的融合與變革正在發(fā)生。

　　在搜索引擎誕生的三十余年里，搜索技術(shù)曾不止一次地來到技術(shù)創(chuàng)新的奇點時刻，陳舊的體驗被顛覆，用戶認知被重塑。大模型不是搜索引擎的第一次革命，也不會是最后一次。