螞蟻集團(tuán)開源向量索引庫VSAG，支持千維以上向量存儲(chǔ)

　　在2024Inclusion·外灘大會(huì)“從DATA for AI到AI for DATA”見解論壇上，由螞蟻集團(tuán)發(fā)起的，旨在提高數(shù)據(jù)庫與大模型應(yīng)用開發(fā)效率的“星辰智能社區(qū)”新發(fā)布了兩個(gè)項(xiàng)目:AI原生數(shù)據(jù)應(yīng)用開發(fā)框架DB-GPT新版本與向量索引庫VSAG。

　　DB-GPT是一個(gè)開源的AI原生數(shù)據(jù)應(yīng)用開發(fā)框架。在數(shù)據(jù)庫領(lǐng)域，如何增強(qiáng)和大語言模型的交互任務(wù)，減少大模型的幻覺，為用戶提供可靠并且安全的數(shù)據(jù)理解和分析能力，仍然是一項(xiàng)極具挑戰(zhàn)的工作。DB-GPT通過開發(fā)多模型管理(SMMF)、Text2SQL效果優(yōu)化、RAG框架以及優(yōu)化、Multi-Agents框架協(xié)作、AWEL(智能體工作流編排)等多種技術(shù)能力，讓圍繞數(shù)據(jù)庫構(gòu)建大模型應(yīng)用更簡(jiǎn)單便捷。

　　本次開源的新版本 DB-GPT v0.6.0，完整支持了數(shù)據(jù)驅(qū)動(dòng)的AI原生應(yīng)用生命周期管理(AI Native Data Apps-dbgpts)以及AI原生應(yīng)用倉庫，方便開發(fā)者構(gòu)建、發(fā)布、分享AI Native Data Apps，還新增了六大特性，包括將AWEL協(xié)議升級(jí)至2.0，支持更復(fù)雜的編排;結(jié)合TuGraph，能支持圖的構(gòu)建與檢索，進(jìn)一步增強(qiáng)檢索的準(zhǔn)確性與召回的穩(wěn)定性，以減少大模型的幻覺，在同樣的檢索效果下，構(gòu)建Graph的成本比業(yè)界的方案少50%的Tokens;支持Agent Memory，如感知記憶、短期/長(zhǎng)期記憶、混合記憶等;支持意圖識(shí)別、槽位填充，支持Text2NLU、Text2GQL微調(diào)等。

　　社區(qū)還新發(fā)布向量索引庫VSAG。VSAG是螞蟻集團(tuán)在向量數(shù)據(jù)庫上一系列的工程優(yōu)化與向量索引的算法改進(jìn)成果，適用于高維向量的存儲(chǔ)和計(jì)算優(yōu)化，并能提供 C++ 和 Python 的接口以便使用。VSAG已在螞蟻內(nèi)部百億數(shù)據(jù)量級(jí)業(yè)務(wù)上使用，在保證同樣的召回率情況下，VSAG 可以通過量化和基于磁盤的重排技術(shù)，將內(nèi)存消耗降低到 HNSW(最流行的向量索引)的1/10，從而實(shí)現(xiàn)生產(chǎn)部署成本的大幅降低。VSAG將結(jié)合DB-GPT，讓RAG的構(gòu)建更加簡(jiǎn)單、高效，同時(shí)VSAG作為獨(dú)立開放的向量引擎，也將支持LangChain、LlamaIndex構(gòu)建RAG應(yīng)用。

　　“星辰智能社區(qū)”由螞蟻集團(tuán)發(fā)起，專注于AI時(shí)代數(shù)據(jù)智能技術(shù)的探索，社區(qū)在GitHub上已獲得17k Star數(shù)，核心成員來自螞蟻、阿里、美團(tuán)、京東、唯品會(huì)等科技公司和知名海內(nèi)外高校碩博在校學(xué)生。目前已有超過50萬用戶正在學(xué)習(xí)和使用DB-GPT，社區(qū)活躍人數(shù)近7000人，開發(fā)貢獻(xiàn)者130人。