共話新質(zhì)營(yíng)銷(xiāo)力,2024梅花數(shù)據(jù)峰會(huì)圓滿落幕索尼影像專業(yè)服務(wù) PRO Support 升級(jí),成為會(huì)員至少需注冊(cè) 2 臺(tái) α 全畫(huà)幅相機(jī)、3 支 G 大師鏡頭消息稱vivo加碼電池軍備競(jìng)賽:6500mAh 旗艦機(jī)+7500mAh中端機(jī)寶馬M8雙門(mén)轎跑車(chē)明年年初將停產(chǎn),后續(xù)無(wú)2026款車(chē)型比亞迪:2025 款漢家族車(chē)型城市領(lǐng)航智駕功能開(kāi)啟內(nèi)測(cè)雷神預(yù)告2025年首次出席CES 將發(fā)布三款不同技術(shù)原理智能眼鏡realme真我全球首發(fā)聯(lián)發(fā)科天璣 8400 耐玩戰(zhàn)神共創(chuàng)計(jì)劃iQOO Z9 Turbo長(zhǎng)續(xù)航版手機(jī)被曝電池加大到6400mAh,搭驍龍 8s Gen 3處理器普及放緩 銷(xiāo)量大跌:曝保時(shí)捷將重新評(píng)估電動(dòng)汽車(chē)計(jì)劃來(lái)京東參與榮耀Magic7 RSR 保時(shí)捷設(shè)計(jì)預(yù)售 享365天只換不修國(guó)補(bǔ)期間電視迎來(lái)?yè)Q機(jī)潮,最暢銷(xiāo)MiniLED品牌花落誰(shuí)家?美團(tuán)旗下微信社群團(tuán)購(gòu)業(yè)務(wù)“團(tuán)買(mǎi)買(mǎi)”宣布年底停運(yùn)消息稱微軟正與第三方廠商洽談,試圖合作推出Xbox游戲掌機(jī)設(shè)備在海外,要再造一個(gè)京東物流?消息稱蘋(píng)果正為AirPods開(kāi)發(fā)多項(xiàng)健康功能,包括心率監(jiān)測(cè)和溫度感應(yīng)一加 Ace 5系列將搭載全新游戲助手:大幅提升游戲體驗(yàn)東芝全部業(yè)務(wù)實(shí)現(xiàn)盈利,退市裁員重組后終于賺錢(qián)真我14 Pro+開(kāi)始提上日程:1.5K等深四微曲屏+潛望長(zhǎng)焦穩(wěn)了消息稱本田和日產(chǎn)計(jì)劃明年6月前敲定合并協(xié)議 2026年8月成立控股公司凱迪拉克最新版OTA開(kāi)啟推送,新增百度語(yǔ)音大模型和QQ音樂(lè)等應(yīng)用
  • 首頁(yè) > 企業(yè)IT頻道 > 數(shù)字化

    星環(huán)科技向量數(shù)據(jù)庫(kù)Transwarp Hippo1.1發(fā)布:一庫(kù)搞定向量+全文聯(lián)合檢索,提升大模型準(zhǔn)確率!

    2023年10月17日 15:18:46   來(lái)源:中文科技資訊

      星環(huán)科技向量數(shù)據(jù)庫(kù)Transwarp Hippo自發(fā)布已來(lái),受到了眾多用戶的歡迎,幫助用戶實(shí)現(xiàn)向量數(shù)據(jù)的存儲(chǔ)、管理和檢索,探索和實(shí)踐大模型場(chǎng)景。在與用戶不斷地深入交流以及實(shí)踐中,Hippo迎來(lái)了V1.1版本,一套系統(tǒng)即可支持向量與全文聯(lián)合檢索,提高文本數(shù)據(jù)的召回精度,從而提升大語(yǔ)言模型應(yīng)用的準(zhǔn)確率。同時(shí),Hippo1.1新增余弦距離、批量數(shù)據(jù)導(dǎo)入導(dǎo)出、Explain與Profile支持、ARM架構(gòu)支持等能力,大幅降低用戶使用門(mén)檻和成本。

      此外,Hippo社區(qū)版同樣支持以上新特性,點(diǎn)擊文末閱讀原文或者訪問(wèn)星環(huán)科技官網(wǎng),即可申請(qǐng)下載體驗(yàn),開(kāi)啟大語(yǔ)言模型場(chǎng)景探索之旅。

      一庫(kù)搞定向量+全文聯(lián)合檢索,提升大模型準(zhǔn)確率

      在大語(yǔ)言模型應(yīng)用中,向量數(shù)據(jù)庫(kù)作為中間載體,可以有效地解決大模型在知識(shí)時(shí)效性低、輸入能力有限、準(zhǔn)確度低等問(wèn)題,賦予大模型擁有“長(zhǎng)期記憶”。因此,向量數(shù)據(jù)庫(kù)的召回精度直接影響大模型輸出結(jié)果的準(zhǔn)確率。然而,在一些實(shí)踐場(chǎng)景中,對(duì)于向量數(shù)據(jù)庫(kù)本身而言,單一使用向量檢索會(huì)產(chǎn)生召回準(zhǔn)確率不高的問(wèn)題:

      * 對(duì)噪聲和冗余信息敏感:若向量數(shù)據(jù)庫(kù)中存在大量的噪聲和冗余信息,則檢索的準(zhǔn)確率會(huì)降低;

      * 對(duì)特征選擇的依賴:在向量檢索中,需要對(duì)數(shù)據(jù)進(jìn)行特征提取和選擇,若特征選擇不當(dāng),則會(huì)影響檢索的準(zhǔn)確性;

      * 對(duì)查詢語(yǔ)義理解的局限性:當(dāng)查詢語(yǔ)義比較復(fù)雜或模糊時(shí),向量檢索無(wú)法準(zhǔn)確理解用戶的意圖,導(dǎo)致準(zhǔn)確率降低;

      此外,像一些特殊情況,如所檢索內(nèi)容未構(gòu)建特征或特征比重較小時(shí),會(huì)導(dǎo)致準(zhǔn)確率降低,甚至無(wú)召回結(jié)果。

      針對(duì)文本搜索場(chǎng)景,全文檢索更適合做關(guān)鍵字匹配,可以避免檢索內(nèi)容低頻的問(wèn)題。而向量檢索則能找出字面上不同但語(yǔ)義上相近的內(nèi)容。通過(guò)將向量檢索和全文檢索的聯(lián)合召回,可以降低漏檢和誤檢的概率,能夠?qū)崿F(xiàn)比單獨(dú)使用向量或全文檢索更高的精度。

      此外,向量數(shù)據(jù)與全文數(shù)據(jù)在存儲(chǔ)、計(jì)算上有很大的差別,單一的數(shù)據(jù)庫(kù)架構(gòu)很難同時(shí)高效支持這兩種場(chǎng)景。例如,對(duì)于公開(kāi)數(shù)據(jù)集如ANN Benchmark,Elasticsearch的性能遠(yuǎn)落后于專業(yè)的向量數(shù)據(jù)庫(kù)。

      星環(huán)科技向量數(shù)據(jù)庫(kù)Hippo底層使用自研的分布式數(shù)據(jù)管理系統(tǒng)TDDMS,能夠支持向量數(shù)據(jù)和全文數(shù)據(jù)統(tǒng)一存儲(chǔ)管理,一套數(shù)據(jù)庫(kù)系統(tǒng)即可支持向量與全文數(shù)據(jù)聯(lián)合檢索召回,避免了部署多套系統(tǒng)帶來(lái)的架構(gòu)復(fù)雜、開(kāi)發(fā)運(yùn)維成本高等問(wèn)題。同時(shí),Hippo1.1提供兼容Elasticsearch協(xié)議的SDK支持,方便用戶更便捷地使用向量數(shù)據(jù)庫(kù)。

    11.png

      例如,當(dāng)查詢“A公司業(yè)務(wù)發(fā)展情況”時(shí),通過(guò)向量檢索可以檢索出A公司“主要業(yè)務(wù)”、“經(jīng)營(yíng)模式”、“財(cái)務(wù)情況”、“市場(chǎng)地位”等信息,通過(guò)全文檢索可以檢索出知識(shí)庫(kù)中和關(guān)鍵字“業(yè)務(wù)”、“發(fā)展”相關(guān)的結(jié)果作為補(bǔ)充,通過(guò)將兩者檢索的結(jié)果進(jìn)行結(jié)合,可以使得大模型回答的結(jié)果更加豐滿和準(zhǔn)確。

      當(dāng)查詢“A公司產(chǎn)品經(jīng)理B的履歷”時(shí),若該產(chǎn)品經(jīng)理B在知識(shí)庫(kù)中出現(xiàn)的頻率較低或未構(gòu)建特征時(shí),單一使用向量檢索召回的結(jié)果可能主要是A公司介紹,而通過(guò)全文檢索則會(huì)檢索出產(chǎn)品經(jīng)理B相關(guān)的內(nèi)容,通過(guò)向量+全文的聯(lián)合檢索召回,使得大模型能夠準(zhǔn)確地給出答案。

    222.png

      多個(gè)新特性升級(jí),幫助用戶實(shí)現(xiàn)降本增效

      1、余弦距離支持,簡(jiǎn)化業(yè)務(wù)邏輯

      余弦距離在大模型領(lǐng)域有著廣泛的應(yīng)用。在過(guò)去,用戶在將向量數(shù)據(jù)導(dǎo)入向量數(shù)據(jù)庫(kù)之前,需要對(duì)數(shù)據(jù)庫(kù)做L2歸一化,并搭配內(nèi)積距離間接實(shí)現(xiàn)余弦距離,這個(gè)過(guò)程較為復(fù)雜,需要用戶手工操作,并要求有一定的技術(shù)基礎(chǔ)。Hippo1.1新增原生的余弦距離支持,用戶不再需要通過(guò)向量歸一化計(jì)算 IP metrics 來(lái)使用余弦距離,大幅簡(jiǎn)化了業(yè)務(wù)邏輯,降低了用戶使用門(mén)檻。

      2、批量數(shù)據(jù)導(dǎo)入導(dǎo)出,加速數(shù)據(jù)流轉(zhuǎn)

      Hippo1.1新增基于csv格式的批量數(shù)據(jù)導(dǎo)入導(dǎo)出功能,方便用戶進(jìn)行數(shù)據(jù)流轉(zhuǎn)。此外,用戶還可以通過(guò)Python、Restful等API進(jìn)行數(shù)據(jù)操作。

      3、支持ARM架構(gòu),滿足國(guó)產(chǎn)化需求

      隨著 ARM架構(gòu) CPU 的普及程度越來(lái)越高,Hippo1.1在支持X86架構(gòu)的基礎(chǔ)上,新增支持ARM架構(gòu),滿足企業(yè)用戶國(guó)產(chǎn)化需求。

      4、支持Explain與Profile,高效性能優(yōu)化

      當(dāng)執(zhí)行帶過(guò)濾條件的向量檢索時(shí),Hippo會(huì)根據(jù)過(guò)濾條件預(yù)估過(guò)濾率,選擇最優(yōu)的搜索路徑。通過(guò)Explain接口,用戶可以準(zhǔn)確地看到檢索的具體執(zhí)行路徑,通過(guò)Profile接口,用戶可以看到⼀次搜索中各階段的細(xì)分耗時(shí)情況;谶@兩點(diǎn)特性,用戶可以更高效地進(jìn)行數(shù)據(jù)庫(kù)調(diào)試、問(wèn)題排查和性能優(yōu)化。

    333.png

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。

    [No. H002]
    分享到微信

    即時(shí)

    新聞

    明火炊具市場(chǎng):三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來(lái)都要半個(gè)月了,現(xiàn)在方便多了!”打開(kāi)“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費(fèi)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實(shí)力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來(lái)實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡(jiǎn)直是創(chuàng)作者們的首選。