火山引擎DataLeap推出兩款大模型應(yīng)用： 對話式檢索與開發(fā) 打破代碼語言屏障

　　自上世50年代，以“計算機”作為代表性象征的信息革命開始，社會對于先進生產(chǎn)力的認知便開始逐步更迭——從信息化(通常認為是把企業(yè)中的信息資源與信息技術(shù)有機結(jié)合，從而提高企業(yè)的管理水平和效率）到數(shù)字化（普遍認為是以數(shù)據(jù)分析為核心，利用各種業(yè)務(wù)數(shù)據(jù)去反哺和優(yōu)化業(yè)務(wù)過程)轉(zhuǎn)變。

　　企業(yè)希望通過數(shù)字化來突破業(yè)務(wù)瓶頸，實現(xiàn)轉(zhuǎn)型升級。而這期間，數(shù)據(jù)作為新的生產(chǎn)要素，其重要性毋庸置疑。

　　9月19日，2023火山引擎數(shù)據(jù)驅(qū)動科技峰會發(fā)布數(shù)據(jù)產(chǎn)品大語言模型(Large Language Models)應(yīng)用：DataLeap-找數(shù)助手、DataLeap-開發(fā)助手和DataWind-分析助手，為企業(yè)提供從數(shù)據(jù)資產(chǎn)的檢索、到數(shù)據(jù)開發(fā)，再到數(shù)據(jù)應(yīng)用的全鏈路AI能力。

　　上述能力的發(fā)布，其目的就是讓企業(yè)能更便捷地生產(chǎn)數(shù)據(jù)、應(yīng)用數(shù)據(jù)，實現(xiàn)更普惠的數(shù)據(jù)消費，為數(shù)字化提供現(xiàn)實基礎(chǔ)。

　　DataLeap是火山引擎數(shù)智平臺(VeDI)推出的大數(shù)據(jù)研發(fā)治理套件，核心是幫助企業(yè)快速完成數(shù)據(jù)集成、開發(fā)、運維、治理、資產(chǎn)、安全等全套數(shù)據(jù)中臺建設(shè)。

　　DataLeap此次升級發(fā)布的兩款大模型應(yīng)用能力“DataLeap-找數(shù)助手”與“DataLeap-開發(fā)助手”，主要聚焦在企業(yè)數(shù)據(jù)資產(chǎn)查詢與數(shù)據(jù)開發(fā)運維兩大核心場景，通過大模型能力的加持，降低企業(yè)數(shù)據(jù)資產(chǎn)檢索和數(shù)據(jù)開發(fā)的準入門檻。

　　“DataLeap-找數(shù)助手”：AI+數(shù)據(jù)資產(chǎn)查詢  提升數(shù)據(jù)資產(chǎn)檢索效率

　　利用“DataLeap-找數(shù)助手”，可以實現(xiàn)多種數(shù)據(jù)類型及相關(guān)業(yè)務(wù)知識的問答式檢索。

　　從企業(yè)數(shù)據(jù)消費的鏈路來看，數(shù)據(jù)資產(chǎn)的檢索、管理可以看作是消費的第一環(huán)。找到正確的數(shù)據(jù)資產(chǎn)，繼而才能實現(xiàn)數(shù)據(jù)的消費。

　　數(shù)據(jù)的查找和使用本身強依賴業(yè)務(wù)專業(yè)知識的輸入。過去傳統(tǒng)技術(shù)方案下，數(shù)據(jù)資產(chǎn)檢索重依賴數(shù)據(jù)結(jié)構(gòu)化管理，需要大量的人力保障，且不夠靈活。同時，非結(jié)構(gòu)化數(shù)據(jù)與數(shù)據(jù)資產(chǎn)的關(guān)聯(lián)缺失，會導(dǎo)致大量業(yè)務(wù)信息缺失，而以往基于關(guān)鍵詞在結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)中的檢索，由于檢索鏈路割裂，會大大降低基于業(yè)務(wù)場景的數(shù)據(jù)查找和消費效率。此外，檢索提供的是基于關(guān)鍵詞的候選答案集合，需要人為再次篩選確認，不是直接的答案，導(dǎo)致用戶很難有良好體驗。

　　與大語言模型(LLM)結(jié)合后，資產(chǎn)查詢的方式變得更“擬人化”：在與用戶對話式的過程中，大語言模型(LLM)可以理解用戶真實意圖，讓搜索過程更聚焦，節(jié)約了人為判斷的成本。同時，伴隨模型語義理解分析能力的逐步提升，對話式檢索相比單純地用關(guān)鍵詞檢索的方式，其全鏈路的檢索效率也更高。

　　在功能上，“DataLeap-找數(shù)助手”目前主要提供三類：

　　1. 找數(shù)據(jù)，表、數(shù)據(jù)集、儀表盤等

　　2. 問含義，指標的口徑信息、維度枚舉值含義等

　　3. 業(yè)務(wù)咨詢，業(yè)務(wù)知識咨詢，如業(yè)務(wù)常見術(shù)語含義，業(yè)務(wù)分類等信息

　　其核心優(yōu)勢在于：

　　1. 問答式查詢方式，查詢效率更高;

　　2. 輕量化接入能力，支持自助接入企業(yè)知識庫;

　　3. 語料充分，元數(shù)據(jù)中心能力完善可提供企業(yè)級服務(wù)

　　能力發(fā)布后，“DataLeap-找數(shù)助手”將讓企業(yè)的數(shù)據(jù)資產(chǎn)檢索變得更快，使得低成本管理、真正的自助式數(shù)據(jù)消費變得可行。

　　“DataLeap-開發(fā)助手”：AI+數(shù)據(jù)生產(chǎn) 降低數(shù)據(jù)開發(fā)門檻

　　利用“DataLeap-開發(fā)助手”，可以實現(xiàn)通過自然語言描述，自動生成代碼;針對已有的代碼可以自動實現(xiàn)Bug修復(fù)，代碼優(yōu)化、解釋與注釋等;對話式方式進行文檔搜索、函數(shù)使用、代碼示例等問題咨詢。

　　過去，研發(fā)人員必須充分熟悉SQL等數(shù)據(jù)開發(fā)語言，才能高效支持數(shù)據(jù)分析背后的開發(fā)需求。但在現(xiàn)實場景中，數(shù)據(jù)分析師、依賴數(shù)據(jù)的業(yè)務(wù)運營人員都會有大量的數(shù)據(jù)消費訴求，也就意味著需要大量的專業(yè)數(shù)據(jù)研發(fā)人員來支持一些看似基礎(chǔ)但仍需要人為介入的開發(fā)工作。

　　“DataLeap-開發(fā)助手”底層采用大語言模型，經(jīng)過海量的代碼和語料訓練，可以根據(jù)用戶的自然語言輸入，自動關(guān)聯(lián)包括表Schema在內(nèi)的元數(shù)據(jù)信息，生成高質(zhì)量的數(shù)據(jù)加工代碼，并具備代碼的理解、改寫以及領(lǐng)域知識的問答能力。

　　目前看，“DataLeap-開發(fā)助手”主要提供以下3個細分場景的服務(wù)：

　　1. 生成代碼：描述需要處理的問題可以自動生成代碼，例如：從多張數(shù)據(jù)表中，通過關(guān)聯(lián)，自動查詢、統(tǒng)計指標數(shù)據(jù);

　　2. 智能問答：根據(jù)你描述的問題進行答疑，例如忘記 Spark 函數(shù)怎么寫，喚起智能開發(fā)助手，詢問函數(shù)使用方式;

　　3. 修復(fù)/優(yōu)化代碼：用戶可以直接在SQL 編輯器中通過AI修復(fù)功能，了解詳細的報錯原因，并基于修復(fù)建議“一鍵完成”選中代碼的修復(fù)/優(yōu)化。

　　“DataLeap-開發(fā)助手”的核心優(yōu)勢在于：

　　1. 適配多場景數(shù)據(jù)開發(fā)，簡單場景自動開發(fā)，復(fù)雜場景輔助提效

　　2. 內(nèi)置于編輯器，靈活喚起，減少多工具切換成本，交互體驗對齊桌面原生 IDE(集成開發(fā)環(huán)境)

　　3. 模型來源可擴展，支持企業(yè)自有模型接入

　　其核心價值是打破了語言障礙，極大程度降低了數(shù)據(jù)開發(fā)的準入門檻，同時讓專業(yè)數(shù)據(jù)研發(fā)人員更聚焦復(fù)雜場景的需求，利用開發(fā)助手優(yōu)化代碼，提高研發(fā)生產(chǎn)效率與代碼質(zhì)量。

　　以DataLeap為代表的火山引擎多個數(shù)據(jù)產(chǎn)品擁抱AI，本質(zhì)是為了降低數(shù)據(jù)消費門檻，通過數(shù)據(jù)消費來實現(xiàn)企業(yè)數(shù)據(jù)資產(chǎn)與業(yè)務(wù)應(yīng)用的飛輪效應(yīng)，提升企業(yè)活力。(作者：葉悼龍)