下單前先比價(jià)不花冤枉錢 同款圖書京東價(jià)低于抖音6折日媒感慨中國(guó)電動(dòng)汽車/智駕遙遙領(lǐng)先:本田、日產(chǎn)、三菱合并也沒戲消委會(huì)吹風(fēng)機(jī)品質(zhì)檢測(cè)結(jié)果揭曉 徠芬獨(dú)占鰲頭 共話新質(zhì)營(yíng)銷力,2024梅花數(shù)據(jù)峰會(huì)圓滿落幕索尼影像專業(yè)服務(wù) PRO Support 升級(jí),成為會(huì)員至少需注冊(cè) 2 臺(tái) α 全畫幅相機(jī)、3 支 G 大師鏡頭消息稱vivo加碼電池軍備競(jìng)賽:6500mAh 旗艦機(jī)+7500mAh中端機(jī)寶馬M8雙門轎跑車明年年初將停產(chǎn),后續(xù)無2026款車型比亞迪:2025 款漢家族車型城市領(lǐng)航智駕功能開啟內(nèi)測(cè)雷神預(yù)告2025年首次出席CES 將發(fā)布三款不同技術(shù)原理智能眼鏡realme真我全球首發(fā)聯(lián)發(fā)科天璣 8400 耐玩戰(zhàn)神共創(chuàng)計(jì)劃iQOO Z9 Turbo長(zhǎng)續(xù)航版手機(jī)被曝電池加大到6400mAh,搭驍龍 8s Gen 3處理器普及放緩 銷量大跌:曝保時(shí)捷將重新評(píng)估電動(dòng)汽車計(jì)劃來京東參與榮耀Magic7 RSR 保時(shí)捷設(shè)計(jì)預(yù)售 享365天只換不修國(guó)補(bǔ)期間電視迎來?yè)Q機(jī)潮,最暢銷MiniLED品牌花落誰(shuí)家?美團(tuán)旗下微信社群團(tuán)購(gòu)業(yè)務(wù)“團(tuán)買買”宣布年底停運(yùn)消息稱微軟正與第三方廠商洽談,試圖合作推出Xbox游戲掌機(jī)設(shè)備在海外,要再造一個(gè)京東物流?消息稱蘋果正為AirPods開發(fā)多項(xiàng)健康功能,包括心率監(jiān)測(cè)和溫度感應(yīng)一加 Ace 5系列將搭載全新游戲助手:大幅提升游戲體驗(yàn)東芝全部業(yè)務(wù)實(shí)現(xiàn)盈利,退市裁員重組后終于賺錢
  • 首頁(yè) > 企業(yè)IT頻道 > 數(shù)字化

    抖音大規(guī)模實(shí)踐,火山引擎向量數(shù)據(jù)庫(kù)對(duì)外開放服務(wù)

    2023年09月18日 20:40:55   來源:中文科技資訊

      AI時(shí)代,如何用好大模型是當(dāng)前各行各業(yè)矚目的焦點(diǎn)。向量數(shù)據(jù)庫(kù)作為大模型“記憶體”,不僅能夠?yàn)槠涮峁⿺?shù)據(jù)存儲(chǔ),而且能通過數(shù)據(jù)檢索、分析讓大模型進(jìn)行知識(shí)增強(qiáng),成為生成式AI應(yīng)用開發(fā)新范式的重要組成部分。

      用圖片搜索圖片或者文本搜索文本時(shí),在數(shù)據(jù)庫(kù)中存儲(chǔ)和對(duì)比的并不是圖片和視頻片段,而是通過深度學(xué)習(xí)等算法將其提取出來的“特征”,“特征”提取的過程稱為 Embedding,提取出的“特征”用數(shù)學(xué)中的向量來表示。向量化的目的是為了通過向量相似來進(jìn)行非結(jié)構(gòu)化數(shù)據(jù)的檢索,向量化后的數(shù)據(jù)才能夠被AI模型更好的理解使用。向量數(shù)據(jù)庫(kù)就是用于生產(chǎn)、存儲(chǔ)、索引和分析來自機(jī)器學(xué)習(xí)模型產(chǎn)生的海量向量數(shù)據(jù)的數(shù)據(jù)庫(kù)系統(tǒng)。其典型應(yīng)用場(chǎng)景比如:基于大語(yǔ)言模型的智能客服、基于企業(yè)知識(shí)庫(kù)的問答以及Chatdoc等工具應(yīng)用。

      火山引擎向量數(shù)據(jù)庫(kù)技術(shù)演進(jìn)之路

      ● 存算分離的分布式架構(gòu)搭建

      在抖音集團(tuán)內(nèi)部,早期的向量化檢索引擎是圍繞搜索、推薦、廣告業(yè)務(wù)來構(gòu)建的,由于這些業(yè)務(wù)天然具有極大的數(shù)據(jù)規(guī)模,因此從一開始,就需要思考如何在向量索引中支持百億數(shù)據(jù)的檢索需求,比如圖蟲擁有幾億圖片素材,數(shù)量規(guī)模早已超出單機(jī)內(nèi)存的極限,舉個(gè)例子,對(duì)于1億條128維的Float向量,不考慮任何輔助結(jié)構(gòu),就需要100000000 * 128 * 4 bytes 也就是約48GB的服務(wù)器內(nèi)存。

      研發(fā)團(tuán)隊(duì)設(shè)計(jì)了一套存算分離的分布式系統(tǒng)架構(gòu),來進(jìn)行向量數(shù)據(jù)的分片和分布式編排,通過向量存儲(chǔ)、批式構(gòu)建和實(shí)時(shí)在線檢索,解決一份向量多個(gè)索引、支持多個(gè)場(chǎng)景的問題,同時(shí),還能夠節(jié)省索引構(gòu)建資源,加快索引構(gòu)建,使在線檢索服務(wù)穩(wěn)定性得到明顯提升。對(duì)于用戶來講,在抖音上搜索內(nèi)容則會(huì)又快又準(zhǔn)。

    圖片 1.png

      ● 計(jì)算內(nèi)核性能優(yōu)化

      構(gòu)建一個(gè)企業(yè)級(jí)的向量檢索應(yīng)用,數(shù)據(jù)量可能超過億級(jí),延遲在10ms內(nèi),要求用起來更快、更穩(wěn),所以在計(jì)算框架搭建好之后,也必須關(guān)注其內(nèi)核,如何提供高性能的向量化檢索服務(wù)以滿足業(yè)務(wù)的苛刻需求。由于向量化檢索是典型的計(jì)算密集、數(shù)據(jù)密集場(chǎng)景,其優(yōu)化方向主要圍繞提升吞吐、降低服務(wù)成本、提升穩(wěn)定性開展。通過一系列性能優(yōu)化工作,如降低內(nèi)存占用、優(yōu)化索引性能、CPU指令集計(jì)算優(yōu)化、優(yōu)化過濾和重排序等業(yè)務(wù)相關(guān)的計(jì)算過程,這套架構(gòu)可以很好解決各類業(yè)務(wù)場(chǎng)景的離線和在線檢索計(jì)算需求,相同檢索精度下的吞吐和時(shí)延相比開源基線有了3倍以上的改善,且滿足大規(guī)模線上業(yè)務(wù)的穩(wěn)定性要求,因此被抖音集團(tuán)大量業(yè)務(wù)采用。

      但因?yàn)槊總(gè)索引搭建一套集群的成本較高,且存在配置復(fù)雜等問題,研發(fā)團(tuán)隊(duì)又對(duì)框架進(jìn)一步迭代,進(jìn)行云原生改造,實(shí)現(xiàn)組件多租戶化,提供自動(dòng)化調(diào)度能力,以降低錯(cuò)誤率,加快交付。

      ● 向量標(biāo)量混合檢索能力

      向量數(shù)據(jù)庫(kù)用于業(yè)務(wù)場(chǎng)景時(shí),向量數(shù)據(jù)通常與結(jié)構(gòu)化數(shù)據(jù)配合使用,例如,在將文檔表示為向量的同時(shí),還需要存儲(chǔ)文檔所屬的部門,以方便在檢索時(shí)進(jìn)行權(quán)限過濾。這類需求可以抽象為使用與向量相關(guān)的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行過濾,業(yè)界通常有兩種解決方案:一是后過濾,將排名top的K個(gè)結(jié)果擴(kuò)大一定倍數(shù),檢索出更多的向量,然后用結(jié)構(gòu)化數(shù)據(jù)做過濾,留下topK個(gè),這種方法適用于結(jié)構(gòu)化過濾掉的比例較低,向量召回結(jié)果比例較高的場(chǎng)景;二是先過濾,先使用DSL過濾數(shù)據(jù)集,然后在結(jié)果集中進(jìn)行向量排序,適用于DSL過濾結(jié)果較少的場(chǎng)景。

      隨著數(shù)據(jù)量的增加,這兩種檢索鏈路的性能各有適用的場(chǎng)景,但如何在執(zhí)行時(shí)自動(dòng)找到最適合的執(zhí)行路徑呢?為此,技術(shù)團(tuán)隊(duì)又研發(fā)了DSL定向引擎,支持在檢索過程中同時(shí)進(jìn)行向量檢索和DSL過濾(結(jié)構(gòu)化過濾),具有高性能、邏輯完備、可按需終止和執(zhí)行計(jì)劃優(yōu)化等特點(diǎn)。在混合查詢性能對(duì)比行業(yè)評(píng)測(cè)中,該向量數(shù)據(jù)庫(kù)的無過濾吞吐、1%過濾吞吐和99%過濾吞吐多項(xiàng)性能均排名第一。

    圖片 2.png

      ● 幫助大模型知識(shí)庫(kù)更快落地

      大模型應(yīng)用場(chǎng)景的不斷拓寬,催生了向量數(shù)據(jù)的存儲(chǔ)、檢索需求。將企業(yè)自身數(shù)據(jù)轉(zhuǎn)化為向量數(shù)據(jù)時(shí)遇到不少困難,如何幫助業(yè)務(wù)選擇開箱即用的向量化模型,也影響到大模型應(yīng)用的落地速度。技術(shù)團(tuán)隊(duì)在知識(shí)庫(kù)、生成式AI素材管理等場(chǎng)景,開始嘗試提供預(yù)設(shè)的向量化方法以供業(yè)務(wù)選擇。大多數(shù)業(yè)務(wù)只需要選擇一個(gè)適合自身數(shù)據(jù)的向量化方法,即可用原始數(shù)據(jù)直接寫入向量數(shù)據(jù)庫(kù),并用相同的模型將請(qǐng)求數(shù)據(jù)轉(zhuǎn)換為請(qǐng)求向量進(jìn)行查詢。

      ● 向量數(shù)據(jù)庫(kù)技術(shù)全景

      經(jīng)過長(zhǎng)期的內(nèi)部探索和優(yōu)化,抖音采用的向量數(shù)據(jù)庫(kù)產(chǎn)品結(jié)構(gòu)如下圖所示:基于云基礎(chǔ)設(shè)施,提供經(jīng)過深度打磨和優(yōu)化的各個(gè)引擎,提供從多模態(tài)數(shù)據(jù)寫入,到向量生成,再到在線檢索,以及上線后的彈性調(diào)度和監(jiān)控的一整套全鏈路解決方案。

    圖片 3.png

      火山引擎向量數(shù)據(jù)庫(kù)的場(chǎng)景化落地實(shí)踐

      經(jīng)過抖音集團(tuán)內(nèi)部的技術(shù)實(shí)踐,向量數(shù)據(jù)庫(kù)目前已經(jīng)覆蓋50+的業(yè)務(wù)線,基本支撐了內(nèi)部所有的向量檢索場(chǎng)景,比如抖音、頭條、懂車帝、圖蟲、火山引擎Oncall智能問答和剪映等,主要的業(yè)務(wù)場(chǎng)景包括智能搜索、AIGC跨模態(tài)檢索、推薦和去重、智能問答、相關(guān)排序、聚類分析和數(shù)據(jù)挖掘等,并且多個(gè)場(chǎng)景庫(kù)規(guī)模達(dá)百億級(jí)別。

      下面以圖蟲和火山引擎Oncall智能問答為例,展示向量數(shù)據(jù)庫(kù)的應(yīng)用實(shí)踐。

      ● 智能搜索場(chǎng)景——圖蟲的以圖搜圖

    圖片 4.png

      圖蟲提供了以圖搜圖的能力,致力于為用戶提供正版素材內(nèi)容及數(shù)字資產(chǎn)管理解決方案。目前,圖蟲創(chuàng)意在庫(kù)圖片量4.6億、高清視頻超2000萬條,每天有大量用戶來搜索、查詢圖片和視頻。億級(jí)海量數(shù)據(jù)對(duì)向量檢索服務(wù)能力提出更高要求,業(yè)務(wù)如何靈活的設(shè)置分片,當(dāng)數(shù)據(jù)量大幅增加時(shí)又如何避免重新部署集群,加快索引構(gòu)建、節(jié)約資源。

      解決方案是提供端到端的圖片搜索能力,流程是先將圖片源數(shù)據(jù)上傳到向量數(shù)據(jù)庫(kù),把圖片數(shù)據(jù)進(jìn)行向量化、存儲(chǔ)并形成向量索引,然后,用戶將要搜索的圖片上傳,上傳后向量化,向量化的圖片與向量數(shù)據(jù)庫(kù)進(jìn)行向量檢索比對(duì)查詢,獲取相似度最高的結(jié)果,返回給用戶。

      ● 企業(yè)知識(shí)庫(kù)場(chǎng)景——火山引擎Oncall智能問答

    圖片 5.png

      火山引擎Oncall智能問答能夠輔助一線客服、提供客戶問題回復(fù)參考;鹕揭婀倬W(wǎng)每天會(huì)收到大量的客戶售后進(jìn)線,高峰時(shí)段人均要并行受理多個(gè)問題,需要能夠快速排查并且給出客戶反饋。對(duì)于工程師來講,面對(duì)眾多技術(shù)門檻較高的產(chǎn)品,要進(jìn)行快速理解和判斷,難度較大。

      解決方案就是,將火山知識(shí)庫(kù)文檔和數(shù)據(jù)通過向量特征提取,然后存儲(chǔ)到向量數(shù)據(jù)庫(kù)中,應(yīng)用LLM大語(yǔ)言模型與向量化的知識(shí)庫(kù)檢索和比對(duì)知識(shí),構(gòu)建火山引擎Oncall智能問答,可以讓聊天機(jī)器人的回答更具專業(yè)性和時(shí)效性,構(gòu)建專屬Chatbot。未來,火山引擎Oncall的FAQ知識(shí)將持續(xù)沉淀,知識(shí)庫(kù)持續(xù)完善,同時(shí)還能提供大模型訓(xùn)練數(shù)據(jù),處理大量客戶咨詢問題,實(shí)現(xiàn)機(jī)器人自動(dòng)生成回復(fù)結(jié)果。

      如今,向量數(shù)據(jù)庫(kù)已經(jīng)成為整個(gè)大模型生態(tài)的基礎(chǔ)設(shè)施,支撐著大模型在業(yè)界的推廣和應(yīng)用;鹕揭嫦蛄繑(shù)據(jù)庫(kù)技術(shù)經(jīng)過抖音等業(yè)務(wù)的實(shí)踐打磨,已經(jīng)對(duì)外開放,賦能千行百業(yè),加速AI大模型落地應(yīng)用。未來隨著新的應(yīng)用場(chǎng)景的出現(xiàn),向量數(shù)據(jù)庫(kù)還將持續(xù)創(chuàng)新,提供更加靈活和多樣化的功能,滿足不同用戶的需求。(作者:潘劍天)

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。

    [No. X048]
    分享到微信

    即時(shí)

    新聞

    明火炊具市場(chǎng):三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費(fèi)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實(shí)力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡(jiǎn)直是創(chuàng)作者們的首選。

    研究

    中國(guó)信通院羅松:深度解讀《工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析體系

    9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會(huì)——工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析專題論壇在沈陽(yáng)成功舉辦。