阿里云發(fā)布一站式敏捷數(shù)據(jù)倉(cāng)庫(kù)解決方案 實(shí)現(xiàn)庫(kù)倉(cāng)一體數(shù)據(jù)分析能力

　　9月26日,由阿里云與英特爾聯(lián)合主辦的“數(shù)聚云端 · 智馭未來(lái)“——阿里云數(shù)據(jù)庫(kù)創(chuàng)新上云峰會(huì)在京舉行。峰會(huì)上,阿里云重磅發(fā)布一站式敏捷數(shù)據(jù)倉(cāng)庫(kù)解決方案。該方案結(jié)合一站式數(shù)據(jù)管理平臺(tái)DMS及云原生數(shù)據(jù)倉(cāng)庫(kù)AnalyticDB(簡(jiǎn)稱:ADB),真正實(shí)現(xiàn)了庫(kù)倉(cāng)一體的技術(shù)架構(gòu),提供在線數(shù)據(jù)實(shí)時(shí)入倉(cāng)、T+1周期性快照、按需建倉(cāng)等能力,數(shù)據(jù)延時(shí)低至秒級(jí),持續(xù)賦能業(yè)務(wù)在線化,令企業(yè)在線數(shù)據(jù)釋放最大價(jià)值。

　　通過(guò)低代碼操作,阿里云一站式敏捷數(shù)據(jù)倉(cāng)庫(kù)解決方案大幅降低了實(shí)時(shí)數(shù)倉(cāng)的構(gòu)建難度和數(shù)據(jù)加工門檻,同時(shí)可支撐企業(yè)各類高頻、動(dòng)態(tài)化的實(shí)時(shí)分析場(chǎng)景和需求,幫助用戶破解實(shí)時(shí)數(shù)倉(cāng)建設(shè)難題,加速企業(yè)數(shù)字化轉(zhuǎn)型。

　　數(shù)據(jù)實(shí)時(shí)入倉(cāng),業(yè)務(wù)數(shù)據(jù)秒級(jí)分析

　　如今,數(shù)據(jù)已成為企業(yè)發(fā)展過(guò)程中必不可少的核心生產(chǎn)資料之一,隨著企業(yè)數(shù)字化程度加深,如何通過(guò)數(shù)據(jù)提升生產(chǎn)力是企業(yè)不斷探索的方向。作為數(shù)據(jù)集成、開發(fā)和服務(wù)的核心載體,數(shù)據(jù)倉(cāng)庫(kù)在其中發(fā)揮著關(guān)鍵作用。

　　傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)一般基于T+1數(shù)據(jù)集成構(gòu)建離線數(shù)倉(cāng),以支撐企業(yè)各項(xiàng)分析與服務(wù)。傳統(tǒng)方案不但會(huì)影響線上業(yè)務(wù)穩(wěn)定性,且難以支持企業(yè)的實(shí)時(shí)需求,隨著企業(yè)對(duì)于數(shù)據(jù)價(jià)值變現(xiàn)和應(yīng)用的時(shí)效性要求越來(lái)越高,實(shí)時(shí)數(shù)倉(cāng)應(yīng)運(yùn)而生。

　　阿里云一站式敏捷數(shù)據(jù)倉(cāng)庫(kù)解決方案基于阿里集團(tuán)多年實(shí)時(shí)數(shù)倉(cāng)建設(shè)經(jīng)驗(yàn),結(jié)合一站式數(shù)據(jù)管理平臺(tái)DMS及云原生數(shù)據(jù)倉(cāng)庫(kù)ADB,支持業(yè)務(wù)數(shù)據(jù)實(shí)時(shí)入倉(cāng)+增刪改查、基于拉鏈表的T+1周期性快照等功能,充分滿足企業(yè)應(yīng)用場(chǎng)景對(duì)生產(chǎn)數(shù)據(jù)進(jìn)行實(shí)時(shí)分析的需求,如:促銷大屏、監(jiān)控報(bào)表、精準(zhǔn)營(yíng)銷、交互式運(yùn)營(yíng)分析等。

　　傳統(tǒng)實(shí)時(shí)數(shù)倉(cāng)構(gòu)建方案通常難以滿足多源異構(gòu)數(shù)據(jù)實(shí)時(shí)入倉(cāng)的需求,同時(shí)數(shù)據(jù)處理鏈路較長(zhǎng),效率無(wú)法保證。相較于傳統(tǒng)方案,阿里云一站式敏捷數(shù)據(jù)倉(cāng)庫(kù)解決方案有如下4大核心優(yōu)勢(shì):

　　1、對(duì)業(yè)務(wù)側(cè)影響小,不會(huì)因?yàn)閿?shù)據(jù)匯聚集中和實(shí)時(shí)加工影響業(yè)務(wù)側(cè)正常運(yùn)行,CPU、內(nèi)存占用低于5%

　　2、事務(wù)順序和數(shù)據(jù)準(zhǔn)確性有保障,且處理鏈路短,支持在線數(shù)據(jù)實(shí)時(shí)處理落倉(cāng),效率更高。數(shù)據(jù)傳輸效率100m/s,數(shù)據(jù)延時(shí)在10秒內(nèi)

　　3、支持復(fù)雜實(shí)時(shí)數(shù)據(jù)加工、計(jì)算邏輯

　　4、低代碼操作,能夠大大降低實(shí)時(shí)數(shù)倉(cāng)的構(gòu)建難度,提升構(gòu)建效率的同時(shí),支撐企業(yè)數(shù)字化轉(zhuǎn)型過(guò)程中的各類實(shí)時(shí)場(chǎng)景

　　DMS集成數(shù)據(jù)傳輸服務(wù)DTS,可支持?jǐn)?shù)十種數(shù)據(jù)源的存量數(shù)據(jù)+增量更新數(shù)據(jù),實(shí)時(shí)同步到ADB,確保實(shí)時(shí)數(shù)倉(cāng)側(cè)數(shù)據(jù)與生產(chǎn)端保持一致。此外,DTS支持在實(shí)時(shí)數(shù)據(jù)入倉(cāng)、數(shù)據(jù)集成過(guò)程中,對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)加工處理,幫助企業(yè)降本增效。

　　周期性快照,業(yè)務(wù)零打擾

　　除了實(shí)時(shí)統(tǒng)計(jì)分析場(chǎng)景外,企業(yè)為滿足周期性數(shù)據(jù)分析需求,需建設(shè)周期性全量快照。傳統(tǒng)數(shù)倉(cāng)的周期性全量集成方案會(huì)對(duì)生產(chǎn)業(yè)務(wù)造成穩(wěn)定性影響、全量集成時(shí)效性差、且無(wú)法滿足客戶針對(duì)任意時(shí)間點(diǎn)進(jìn)行數(shù)據(jù)回溯的業(yè)務(wù)訴求。

　　針對(duì)T+1周期性集成場(chǎng)景,一站式敏捷數(shù)據(jù)倉(cāng)庫(kù)解決方案支持基于拉鏈表的T+1全量數(shù)據(jù)快照,用戶通過(guò)簡(jiǎn)單幾個(gè)步驟,即可按需生成各種周期的全量或增量快照。此外,業(yè)務(wù)還可按需進(jìn)行任意時(shí)間點(diǎn)的數(shù)據(jù)回溯,以快速解決數(shù)據(jù)異常問(wèn)題。

　　某銀行實(shí)時(shí)數(shù)倉(cāng)構(gòu)建案例

　　以某銀行為例,該銀行采用一站式敏捷數(shù)據(jù)倉(cāng)庫(kù)方案構(gòu)建實(shí)時(shí)數(shù)倉(cāng),以支持各業(yè)務(wù)線高效、定制的分析和決策需求。DMS集成DTS非侵入式實(shí)時(shí)日志解析能力,進(jìn)行數(shù)據(jù)實(shí)時(shí)入倉(cāng),極大降低了數(shù)據(jù)同步過(guò)程中對(duì)業(yè)務(wù)系統(tǒng)的資源消耗,對(duì)業(yè)務(wù)操作零干擾,大幅降低實(shí)時(shí)數(shù)倉(cāng)建設(shè)難度。此外,方案助力該銀行按T+1(小時(shí))頻率快速生成快照表,千萬(wàn)數(shù)據(jù)級(jí)快照只需3分鐘,結(jié)合ADB對(duì)海量數(shù)據(jù)的毫秒級(jí)交互式分析能力,進(jìn)一步提升了實(shí)時(shí)數(shù)倉(cāng)對(duì)分析決策的支撐效率。

　　阿里云資深技術(shù)專家、數(shù)據(jù)庫(kù)產(chǎn)品事業(yè)部生態(tài)工具部負(fù)責(zé)人陳長(zhǎng)城

　　阿里云資深技術(shù)專家、數(shù)據(jù)庫(kù)產(chǎn)品事業(yè)部生態(tài)工具部負(fù)責(zé)人陳長(zhǎng)城表示:“一站式數(shù)據(jù)管理DMS的目標(biāo)是幫助企業(yè)在線數(shù)據(jù)價(jià)值最大化,企業(yè)通過(guò)一站式數(shù)據(jù)管理DMS+ADB可快速構(gòu)建實(shí)時(shí)數(shù)倉(cāng),實(shí)現(xiàn)庫(kù)倉(cāng)一體的技術(shù)架構(gòu)。

　　相比傳統(tǒng)方案,可有效解決多種在線數(shù)據(jù)資產(chǎn)化的難題,實(shí)現(xiàn)按需建倉(cāng)、數(shù)據(jù)集中和敏捷開發(fā)。借助庫(kù)倉(cāng)一體的DMS數(shù)據(jù)傳輸與加工鏈路,大大縮短數(shù)據(jù)流ETL鏈路,降低維護(hù)成本,通過(guò)數(shù)據(jù)開發(fā)進(jìn)行靈活的任務(wù)編排和產(chǎn)品化支持T+1場(chǎng)景,可降低數(shù)據(jù)加工門檻,快速發(fā)揮企業(yè)在線數(shù)據(jù)價(jià)值。”

　　阿里云研究員、數(shù)據(jù)庫(kù)產(chǎn)品事業(yè)部OLAP產(chǎn)品部負(fù)責(zé)人占超群

　　阿里云研究員、數(shù)據(jù)庫(kù)產(chǎn)品事業(yè)部OLAP產(chǎn)品部負(fù)責(zé)人占超群表示:“云原生數(shù)據(jù)倉(cāng)庫(kù)AnalyticDB以云原生、數(shù)據(jù)庫(kù)與大數(shù)據(jù)一體化為核心,支持一份數(shù)據(jù)多計(jì)算場(chǎng)景、全鏈路數(shù)據(jù)實(shí)時(shí)化等特點(diǎn),支持結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)融合分析,可實(shí)現(xiàn)超大規(guī)模實(shí)時(shí)增刪改查、高并發(fā)低延時(shí)的按需低成本復(fù)雜分析,助力業(yè)務(wù)實(shí)現(xiàn)敏捷、實(shí)時(shí)、智能的數(shù)字化創(chuàng)新。

　　阿里云一站式敏捷數(shù)據(jù)倉(cāng)庫(kù)解決方案,結(jié)合一站式數(shù)據(jù)管理DMS+ADB為企業(yè)提供了敏捷的數(shù)據(jù)入倉(cāng)、ETL管理、任務(wù)編排、資產(chǎn)管理等能力,將企業(yè)數(shù)據(jù)資產(chǎn)價(jià)值最大化,未來(lái)我們還將推出更多企業(yè)級(jí)的能力,歡迎大家關(guān)注。”

　　目前,阿里云一站式敏捷數(shù)據(jù)倉(cāng)庫(kù)解決方案已廣泛應(yīng)用于金融、數(shù)字政府、零售、泛互聯(lián)網(wǎng)等行業(yè),幫助企業(yè)建設(shè)數(shù)字化轉(zhuǎn)型的基礎(chǔ)底座。