科技云報(bào)道原創(chuàng)。
最近,又一個(gè)概念火了——向量數(shù)據(jù)庫(kù)。
隨著大模型帶來(lái)的應(yīng)用需求提升,4月以來(lái)多家海外知名向量數(shù)據(jù)庫(kù)創(chuàng)業(yè)企業(yè)傳出融資喜訊。
4月28日,向量數(shù)據(jù)庫(kù)平臺(tái)Pinecone宣布獲得1億美元(約7億元)B輪融資;
4月22日,向量數(shù)據(jù)庫(kù)平臺(tái)Weaviate宣布獲得5000萬(wàn)美元(約3.5億元)B輪融資;
4月6日Chroma獲1800萬(wàn)美元種子輪融資;
4月19日Qdrant獲750萬(wàn)美元種子輪融資。
國(guó)內(nèi)方面,星環(huán)科技、北交所云創(chuàng)數(shù)據(jù)等公司的股價(jià)連續(xù)異動(dòng),其中云創(chuàng)數(shù)據(jù)自底部以來(lái)股價(jià)已接近翻倍。
7月4日,騰訊云正式發(fā)布向量數(shù)據(jù)庫(kù)Tencent Cloud VectorDB,預(yù)計(jì)8月上線騰訊云官網(wǎng)。
一連串的市場(chǎng)動(dòng)作,都展示了向量數(shù)據(jù)庫(kù)的爆紅。那么,什么是向量數(shù)據(jù)庫(kù),到底有啥用?
什么是向量數(shù)據(jù)庫(kù)?
當(dāng)你在網(wǎng)上看到一張壁紙,你想知道這是哪個(gè)國(guó)家的美景,卻不知道如何搜索;或者,在閱讀一篇文章時(shí),你想深入了解這個(gè)話題,尋找更多的觀點(diǎn)和資料,卻不知道該如何精確描述。
這時(shí),你需要的是一個(gè)能夠理解你的意圖,為你提供最相關(guān)的結(jié)果,讓你輕松找到你想要的信息的工具。
這就是向量數(shù)據(jù)庫(kù)(Vector Data Base),它就像一個(gè)超級(jí)大腦,幫助你解決這些問(wèn)題。
所謂向量數(shù)據(jù)庫(kù),是一種專門(mén)用于存儲(chǔ)、 管理、查詢、檢索向量的數(shù)據(jù)庫(kù),可以把復(fù)雜的非結(jié)構(gòu)化數(shù)據(jù)通過(guò)向量化,處理統(tǒng)一成多維空間里的坐標(biāo)值。
目前,向量數(shù)據(jù)庫(kù)主要應(yīng)用于人工智能、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等領(lǐng)域。
具體來(lái)看,向量數(shù)據(jù)庫(kù)被廣泛地用于大模型訓(xùn)練、推理和知識(shí)庫(kù)補(bǔ)充等場(chǎng)景:
●支撐訓(xùn)練階段海量數(shù)據(jù)的分類、去重和清洗,給大模型的訓(xùn)練降本增效;
●通過(guò)新數(shù)據(jù)的帶入,幫助大模型提升處理新問(wèn)題的能力,突破預(yù)訓(xùn)練帶來(lái)的知識(shí)時(shí)間限制,避免大模型出現(xiàn)幻覺(jué);
●提供一種私有數(shù)據(jù)連接大模型的方式,解決私有數(shù)據(jù)注入大模型帶來(lái)的安全和隱私問(wèn)題,加速大模型在產(chǎn)業(yè)落地。
簡(jiǎn)而言之,向量數(shù)據(jù)庫(kù)可以解決大模型預(yù)訓(xùn)練成本高、沒(méi)有“長(zhǎng)期記憶”、知識(shí)更新不足、提示詞工程復(fù)雜等問(wèn)題,突破大模型在時(shí)間和空間上的限制,加速大模型落地行業(yè)場(chǎng)景。
向量數(shù)據(jù)庫(kù)的發(fā)展
在向量數(shù)據(jù)庫(kù)出現(xiàn)之前,大家普遍使用的是關(guān)系型數(shù)據(jù)庫(kù),如MySQL、Oracle等,這些數(shù)據(jù)庫(kù)以表格的形式存儲(chǔ)數(shù)據(jù),適合存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)。但對(duì)于非結(jié)構(gòu)化數(shù)據(jù),如文本、圖像、音頻等,處理起來(lái)就相對(duì)困難。
此外,關(guān)系型數(shù)據(jù)庫(kù)在處理大規(guī)模數(shù)據(jù)時(shí),性能會(huì)下降,不適合大數(shù)據(jù)處理。這就像是在一個(gè)擁擠的圖書(shū)館里找一本書(shū),你知道它在哪個(gè)書(shū)架上,但是找到它還需要花費(fèi)大量的時(shí)間。
而向量數(shù)據(jù)庫(kù)和傳統(tǒng)數(shù)據(jù)庫(kù)的不同點(diǎn)在于,向量數(shù)據(jù)庫(kù)處理的是各種AI應(yīng)用產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù),通過(guò)近似查進(jìn)行模糊匹配,輸出的是概率上的提供相對(duì)最符合條件的答案,而非精確的標(biāo)準(zhǔn)答案。
舉例來(lái)說(shuō),傳統(tǒng)數(shù)據(jù)庫(kù)做圖片檢索可能是通過(guò)關(guān)鍵詞去搜索,向量數(shù)據(jù)庫(kù)是通過(guò)語(yǔ)義搜索圖片中相同或相近的向量并呈現(xiàn)結(jié)果。理論是向量之間的距離越接近,就說(shuō)明語(yǔ)意越接近,效果也有最相似。
隨著時(shí)間的推移,向量數(shù)據(jù)庫(kù)開(kāi)始在不同的領(lǐng)域和應(yīng)用中不斷成長(zhǎng)和進(jìn)化。從20世紀(jì)90年代末到2000年初,美國(guó)國(guó)立衛(wèi)生研究院和斯坦福大學(xué)都開(kāi)始使用向量數(shù)據(jù)庫(kù)。
2005年到2015年間,隨著基因研究的深入和加速,向量數(shù)據(jù)庫(kù)也在并行中增長(zhǎng),像UniVec 數(shù)據(jù)庫(kù)這樣的工具在2017年就已經(jīng)被廣泛使用,它們?cè)诨蛐蛄斜葘?duì)、基因組注釋等領(lǐng)域發(fā)揮了重要作用。
2017年和2019年之間,向量數(shù)據(jù)庫(kù)開(kāi)始爆炸式增長(zhǎng),它被應(yīng)用于自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)、推薦系統(tǒng)等領(lǐng)域。這些領(lǐng)域都需要處理大量和多樣化的數(shù)據(jù),并從中提取有價(jià)值的信息。
向量數(shù)據(jù)庫(kù)通過(guò)使用諸如余弦相似度、歐氏距離、Jaccard 相似度等度量方法,以及諸如倒排索引、局部敏感哈希、乘積量化等索引技術(shù),實(shí)現(xiàn)了高效和準(zhǔn)確的向量檢索。
目前各大廠商使用的推薦系統(tǒng)、以圖搜圖、哼唱搜歌、問(wèn)答機(jī)器人等應(yīng)用,其內(nèi)核都是向量數(shù)據(jù)庫(kù)。
在今年,向量數(shù)據(jù)庫(kù)開(kāi)始被用于與大語(yǔ)言模型結(jié)合的應(yīng)用。
它為大語(yǔ)言模型提供了一個(gè)外部知識(shí)庫(kù),使得大語(yǔ)言模型可以根據(jù)用戶的查詢,在向量數(shù)據(jù)庫(kù)中檢索相關(guān)的數(shù)據(jù),并根據(jù)數(shù)據(jù)的內(nèi)容和語(yǔ)義來(lái)更新上下文,從而生成更相關(guān)和準(zhǔn)確的文本。
這些大語(yǔ)言模型通常使用深度神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)文本數(shù)據(jù)中隱含的規(guī)律和結(jié)構(gòu),并能夠生成流暢和連貫的文本。
向量數(shù)據(jù)庫(kù) 過(guò)使用諸如BERT、GPT等預(yù)訓(xùn)練模型將文本轉(zhuǎn)換為向量,并使用諸如FAISS、Milvus等開(kāi)源平臺(tái)來(lái)構(gòu)建和管理向量數(shù)據(jù)庫(kù)。
總體而言,向量數(shù)據(jù)庫(kù)成功地解決了很多挑戰(zhàn),并為人們帶來(lái)了很多價(jià)值。
針對(duì)傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)難以處理的大規(guī)模數(shù)據(jù)、低時(shí)延高并發(fā)檢索、模糊匹配等領(lǐng)域,向量數(shù)據(jù)庫(kù)通過(guò)數(shù)據(jù)的向量化來(lái)滿足特定需求,尤其適用于人工智能領(lǐng)域。
讓行業(yè)大模型具備know how能力
隨著AI大模型的崛起,向量數(shù)據(jù)庫(kù)的爆紅也就不難理解。
一是,在現(xiàn)實(shí)世界里,非結(jié)構(gòu)化數(shù)據(jù)是“主流”。根據(jù)Gartner的數(shù)據(jù),非結(jié)構(gòu)化數(shù)據(jù)占企業(yè)生成的新數(shù)據(jù)比例高達(dá)90%,并且增長(zhǎng)速度比結(jié)構(gòu)化數(shù)據(jù)快三倍。
而生成式AI大模型進(jìn)一步帶來(lái)了非結(jié)構(gòu)化數(shù)據(jù)的暴增,也相應(yīng)推動(dòng)了對(duì)向量數(shù)據(jù)庫(kù)的需求。
向量數(shù)據(jù)庫(kù)的一大優(yōu)勢(shì)在于,能夠通過(guò)機(jī)器學(xué)習(xí)方法處理和理解來(lái)自不同源的多種模態(tài)信息,如文本、圖像、音頻和視頻等。
二是,越來(lái)越多的大模型從業(yè)者認(rèn)為,所有的行業(yè)都值得被AI重新做一遍。
因此,建立在不同行業(yè)的垂直大模型,成為大家的切入點(diǎn),而向量數(shù)據(jù)庫(kù)是行業(yè)大模型具備“行業(yè)knowhow”能力的必經(jīng)之路。
這背后是,AI大模型的產(chǎn)生,需要經(jīng)歷大量反復(fù)的訓(xùn)練和調(diào)試。雖然通用AI大模型能回答一般性問(wèn)題,但在垂直領(lǐng)域服務(wù)中,其知識(shí)深度、準(zhǔn)確度和時(shí)效性有限。
而利用向量數(shù)據(jù)庫(kù)結(jié)合大模型和自有知識(shí)資產(chǎn),可以構(gòu)建垂直領(lǐng)域的AI能力。向量數(shù)據(jù)庫(kù)存儲(chǔ)和處理向量數(shù)據(jù),提供高效的相似度搜索和檢索功能。
正如東北證券觀點(diǎn),AI化的本質(zhì)則是向量化,向量化計(jì)算成本高昂,海量的高維向量勢(shì)必需要專門(mén)的數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)和處理,向量數(shù)據(jù)庫(kù)應(yīng)運(yùn)而生。
向量數(shù)據(jù)庫(kù)在拓展AI全新應(yīng)用場(chǎng)景的同時(shí),也將對(duì)傳統(tǒng)數(shù)據(jù)庫(kù)產(chǎn)品形成替代,進(jìn)而成為AI時(shí)代的Killer App。
目前,向量數(shù)據(jù)庫(kù)是一個(gè)亟待引爆的藍(lán)海市場(chǎng)。
據(jù)公開(kāi)資料顯示,向量數(shù)據(jù)庫(kù)市場(chǎng)空間巨大,尚處于從0-1階段,預(yù)測(cè)到2030年,全球向量數(shù)據(jù)庫(kù)市場(chǎng)規(guī)模有望達(dá)到500億美元,國(guó)內(nèi)向量數(shù)據(jù)庫(kù)市場(chǎng)規(guī)模有望超過(guò)600億人民幣。
未來(lái)隨著生成式AI大模型開(kāi)發(fā)量和使用量的增長(zhǎng),向量數(shù)據(jù)庫(kù)的應(yīng)用有望快速增長(zhǎng)。
而國(guó)內(nèi)外眾多玩家如傳統(tǒng)數(shù)據(jù)庫(kù)廠商、初創(chuàng)數(shù)據(jù)庫(kù)廠商、云廠商、跨界廠商等都已躍躍欲試,提前開(kāi)始布局向量數(shù)據(jù)庫(kù),做好了應(yīng)對(duì)AI大模型時(shí)代的準(zhǔn)備。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
2024年的Adobe MAX 2024發(fā)布會(huì)上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來(lái)都要半個(gè)月了,現(xiàn)在方便多了!”打開(kāi)“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來(lái)實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡(jiǎn)直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會(huì)——工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析專題論壇在沈陽(yáng)成功舉辦。