抖音大規(guī)模實(shí)踐，火山引擎向量數(shù)據(jù)庫對外開放服務(wù)

　　AI時(shí)代，如何用好大模型是當(dāng)前各行各業(yè)矚目的焦點(diǎn)。向量數(shù)據(jù)庫作為大模型“記憶體”，不僅能夠?yàn)槠涮峁��?shù)據(jù)存儲(chǔ)，而且能通過數(shù)據(jù)檢索、分析讓大模型進(jìn)行知識(shí)增強(qiáng)，成為生成式AI應(yīng)用開發(fā)新范式的重要組成部分。

　　用圖片搜索圖片或者文本搜索文本時(shí)，在數(shù)據(jù)庫中存儲(chǔ)和對比的并不是圖片和視頻片段，而是通過深度學(xué)習(xí)等算法將其提取出來的“特征”，“特征”提取的過程稱為 Embedding，提取出的“特征”用數(shù)學(xué)中的向量來表示。向量化的目的是為了通過向量相似來進(jìn)行非結(jié)構(gòu)化數(shù)據(jù)的檢索，向量化后的數(shù)據(jù)才能夠被AI模型更好的理解使用。向量數(shù)據(jù)庫就是用于生產(chǎn)、存儲(chǔ)、索引和分析來自機(jī)器學(xué)習(xí)模型產(chǎn)生的海量向量數(shù)據(jù)的數(shù)據(jù)庫系統(tǒng)。其典型應(yīng)用場景比如：基于大語言模型的智能客服、基于企業(yè)知識(shí)庫的問答以及Chatdoc等工具應(yīng)用。

　　火山引擎向量數(shù)據(jù)庫技術(shù)演進(jìn)之路

　　● 存算分離的分布式架構(gòu)搭建

　　在抖音集團(tuán)內(nèi)部，早期的向量化檢索引擎是圍繞搜索、推薦、廣告業(yè)務(wù)來構(gòu)建的，由于這些業(yè)務(wù)天然具有極大的數(shù)據(jù)規(guī)模，因此從一開始，就需要思考如何在向量索引中支持百億數(shù)據(jù)的檢索需求，比如圖蟲擁有幾億圖片素材，數(shù)量規(guī)模早已超出單機(jī)內(nèi)存的極限，舉個(gè)例子，對于1億條128維的Float向量，不考慮任何輔助結(jié)構(gòu)，就需要100000000 * 128 * 4 bytes 也就是約48GB的服務(wù)器內(nèi)存。

　　研發(fā)團(tuán)隊(duì)設(shè)計(jì)了一套存算分離的分布式系統(tǒng)架構(gòu)，來進(jìn)行向量數(shù)據(jù)的分片和分布式編排，通過向量存儲(chǔ)、批式構(gòu)建和實(shí)時(shí)在線檢索，解決一份向量多個(gè)索引、支持多個(gè)場景的問題，同時(shí)，還能夠節(jié)省索引構(gòu)建資源，加快索引構(gòu)建，使在線檢索服務(wù)穩(wěn)定性得到明顯提升。對于用戶來講，在抖音上搜索內(nèi)容則會(huì)又快又準(zhǔn)。

　　● 計(jì)算內(nèi)核性能優(yōu)化

　　構(gòu)建一個(gè)企業(yè)級的向量檢索應(yīng)用，數(shù)據(jù)量可能超過億級，延遲在10ms內(nèi)，要求用起來更快、更穩(wěn)，所以在計(jì)算框架搭建好之后，也必須關(guān)注其內(nèi)核，如何提供高性能的向量化檢索服務(wù)以滿足業(yè)務(wù)的苛刻需求。由于向量化檢索是典型的計(jì)算密集、數(shù)據(jù)密集場景，其優(yōu)化方向主要圍繞提升吞吐、降低服務(wù)成本、提升穩(wěn)定性開展。通過一系列性能優(yōu)化工作，如降低內(nèi)存占用、優(yōu)化索引性能、CPU指令集計(jì)算優(yōu)化、優(yōu)化過濾和重排序等業(yè)務(wù)相關(guān)的計(jì)算過程，這套架構(gòu)可以很好解決各類業(yè)務(wù)場景的離線和在線檢索計(jì)算需求，相同檢索精度下的吞吐和時(shí)延相比開源基線有了3倍以上的改善，且滿足大規(guī)模線上業(yè)務(wù)的穩(wěn)定性要求，因此被抖音集團(tuán)大量業(yè)務(wù)采用。

　　但因?yàn)槊總�(gè)索引搭建一套集群的成本較高，且存在配置復(fù)雜等問題，研發(fā)團(tuán)隊(duì)又對框架進(jìn)一步迭代，進(jìn)行云原生改造，實(shí)現(xiàn)組件多租戶化，提供自動(dòng)化調(diào)度能力，以降低錯(cuò)誤率，加快交付。

　　● 向量標(biāo)量混合檢索能力

　　向量數(shù)據(jù)庫用于業(yè)務(wù)場景時(shí)，向量數(shù)據(jù)通常與結(jié)構(gòu)化數(shù)據(jù)配合使用，例如，在將文檔表示為向量的同時(shí)，還需要存儲(chǔ)文檔所屬的部門，以方便在檢索時(shí)進(jìn)行權(quán)限過濾。這類需求可以抽象為使用與向量相關(guān)的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行過濾，業(yè)界通常有兩種解決方案：一是后過濾，將排名top的K個(gè)結(jié)果擴(kuò)大一定倍數(shù)，檢索出更多的向量，然后用結(jié)構(gòu)化數(shù)據(jù)做過濾，留下topK個(gè)，這種方法適用于結(jié)構(gòu)化過濾掉的比例較低，向量召回結(jié)果比例較高的場景;二是先過濾，先使用DSL過濾數(shù)據(jù)集，然后在結(jié)果集中進(jìn)行向量排序，適用于DSL過濾結(jié)果較少的場景。

　　隨著數(shù)據(jù)量的增加，這兩種檢索鏈路的性能各有適用的場景，但如何在執(zhí)行時(shí)自動(dòng)找到最適合的執(zhí)行路徑呢?為此，技術(shù)團(tuán)隊(duì)又研發(fā)了DSL定向引擎，支持在檢索過程中同時(shí)進(jìn)行向量檢索和DSL過濾(結(jié)構(gòu)化過濾)，具有高性能、邏輯完備、可按需終止和執(zhí)行計(jì)劃優(yōu)化等特點(diǎn)。在混合查詢性能對比行業(yè)評測中，該向量數(shù)據(jù)庫的無過濾吞吐、1%過濾吞吐和99%過濾吞吐多項(xiàng)性能均排名第一。

　　● 幫助大模型知識(shí)庫更快落地

　　大模型應(yīng)用場景的不斷拓寬，催生了向量數(shù)據(jù)的存儲(chǔ)、檢索需求。將企業(yè)自身數(shù)據(jù)轉(zhuǎn)化為向量數(shù)據(jù)時(shí)遇到不少困難，如何幫助業(yè)務(wù)選擇開箱即用的向量化模型，也影響到大模型應(yīng)用的落地速度。技術(shù)團(tuán)隊(duì)在知識(shí)庫、生成式AI素材管理等場景，開始嘗試提供預(yù)設(shè)的向量化方法以供業(yè)務(wù)選擇。大多數(shù)業(yè)務(wù)只需要選擇一個(gè)適合自身數(shù)據(jù)的向量化方法，即可用原始數(shù)據(jù)直接寫入向量數(shù)據(jù)庫，并用相同的模型將請求數(shù)據(jù)轉(zhuǎn)換為請求向量進(jìn)行查詢。

　　● 向量數(shù)據(jù)庫技術(shù)全景

　　經(jīng)過長期的內(nèi)部探索和優(yōu)化，抖音采用的向量數(shù)據(jù)庫產(chǎn)品結(jié)構(gòu)如下圖所示：基于云基礎(chǔ)設(shè)施，提供經(jīng)過深度打磨和優(yōu)化的各個(gè)引擎，提供從多模態(tài)數(shù)據(jù)寫入，到向量生成，再到在線檢索，以及上線后的彈性調(diào)度和監(jiān)控的一整套全鏈路解決方案。

　　火山引擎向量數(shù)據(jù)庫的場景化落地實(shí)踐

　　經(jīng)過抖音集團(tuán)內(nèi)部的技術(shù)實(shí)踐，向量數(shù)據(jù)庫目前已經(jīng)覆蓋50+的業(yè)務(wù)線，基本支撐了內(nèi)部所有的向量檢索場景，比如抖音、頭條、懂車帝、圖蟲、火山引擎Oncall智能問答和剪映等，主要的業(yè)務(wù)場景包括智能搜索、AIGC跨模態(tài)檢索、推薦和去重、智能問答、相關(guān)排序、聚類分析和數(shù)據(jù)挖掘等，并且多個(gè)場景庫規(guī)模達(dá)百億級別。

　　下面以圖蟲和火山引擎Oncall智能問答為例，展示向量數(shù)據(jù)庫的應(yīng)用實(shí)踐。

　　● 智能搜索場景——圖蟲的以圖搜圖

　　圖蟲提供了以圖搜圖的能力，致力于為用戶提供正版素材內(nèi)容及數(shù)字資產(chǎn)管理解決方案。目前，圖蟲創(chuàng)意在庫圖片量4.6億、高清視頻超2000萬條，每天有大量用戶來搜索、查詢圖片和視頻。億級海量數(shù)據(jù)對向量檢索服務(wù)能力提出更高要求，業(yè)務(wù)如何靈活的設(shè)置分片，當(dāng)數(shù)據(jù)量大幅增加時(shí)又如何避免重新部署集群，加快索引構(gòu)建、節(jié)約資源。

　　解決方案是提供端到端的圖片搜索能力，流程是先將圖片源數(shù)據(jù)上傳到向量數(shù)據(jù)庫，把圖片數(shù)據(jù)進(jìn)行向量化、存儲(chǔ)并形成向量索引，然后，用戶將要搜索的圖片上傳，上傳后向量化，向量化的圖片與向量數(shù)據(jù)庫進(jìn)行向量檢索比對查詢，獲取相似度最高的結(jié)果，返回給用戶。

　　● 企業(yè)知識(shí)庫場景——火山引擎Oncall智能問答

　　火山引擎Oncall智能問答能夠輔助一線客服、提供客戶問題回復(fù)參考�；鹕揭�擎官網(wǎng)每天會(huì)收到大量的客戶售后進(jìn)線，高峰時(shí)段人均要并行受理多個(gè)問題，需要能夠快速排查并且給出客戶反饋。對于工程師來講，面對眾多技術(shù)門檻較高的產(chǎn)品，要進(jìn)行快速理解和判斷，難度較大。

　　解決方案就是，將火山知識(shí)庫文檔和數(shù)據(jù)通過向量特征提取，然后存儲(chǔ)到向量數(shù)據(jù)庫中，應(yīng)用LLM大語言模型與向量化的知識(shí)庫檢索和比對知識(shí)，構(gòu)建火山引擎Oncall智能問答，可以讓聊天機(jī)器人的回答更具專業(yè)性和時(shí)效性，構(gòu)建專屬Chatbot。未來，火山引擎Oncall的FAQ知識(shí)將持續(xù)沉淀，知識(shí)庫持續(xù)完善，同時(shí)還能提供大模型訓(xùn)練數(shù)據(jù)，處理大量客戶咨詢問題，實(shí)現(xiàn)機(jī)器人自動(dòng)生成回復(fù)結(jié)果。

　　如今，向量數(shù)據(jù)庫已經(jīng)成為整個(gè)大模型生態(tài)的基礎(chǔ)設(shè)施，支撐著大模型在業(yè)界的推廣和應(yīng)用。火山引擎向量數(shù)據(jù)庫技術(shù)經(jīng)過抖音等業(yè)務(wù)的實(shí)踐打磨，已經(jīng)對外開放，賦能千行百業(yè)，加速AI大模型落地應(yīng)用。未來隨著新的應(yīng)用場景的出現(xiàn)，向量數(shù)據(jù)庫還將持續(xù)創(chuàng)新，提供更加靈活和多樣化的功能，滿足不同用戶的需求。(作者：潘劍天)