業(yè)內(nèi)首次融合數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)湖 阿里云推出下一代大數(shù)據(jù)平臺(tái)“湖倉(cāng)一體”

　　​9月18日,2020云棲大會(huì)上,阿里云正式推出大數(shù)據(jù)平臺(tái)的下一代架構(gòu)——“湖倉(cāng)一體”,打通數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖兩套體系,讓數(shù)據(jù)和計(jì)算在湖與倉(cāng)之間自由流動(dòng),從而構(gòu)建一個(gè)完整的有機(jī)的大數(shù)據(jù)技術(shù)生態(tài)體系。為企業(yè)提供兼具數(shù)據(jù)湖的靈活性和數(shù)據(jù)倉(cāng)庫(kù)的成長(zhǎng)性的新一代大數(shù)據(jù)平臺(tái),降低企業(yè)構(gòu)建大數(shù)據(jù)平臺(tái)的整體成本。

　　大數(shù)據(jù)技術(shù)從本世紀(jì)初發(fā)展至今演進(jìn)出了數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖兩種趨勢(shì),前者通常指云廠商提供的基于大數(shù)據(jù)技術(shù)的一體化服務(wù),后者通常是由一系列云產(chǎn)品或開(kāi)源組件共同構(gòu)成的大數(shù)據(jù)解決方案。

　　當(dāng)企業(yè)處在初創(chuàng)階段,靈活性就非常重要,數(shù)據(jù)湖的架構(gòu)更適用。當(dāng)企業(yè)逐漸成熟,成長(zhǎng)性成為最關(guān)鍵因素,數(shù)據(jù)倉(cāng)庫(kù)的架構(gòu)就再適合不過(guò)了。那么,數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖是否只能是一道單選題?能否有一種方案同時(shí)兼顧數(shù)據(jù)湖的靈活性和云數(shù)據(jù)倉(cāng)庫(kù)的成長(zhǎng)性?

　　阿里巴巴集團(tuán)副總裁、阿里云計(jì)算平臺(tái)負(fù)責(zé)人賈揚(yáng)清表示,MaxCompute湖倉(cāng)一體方案打破了數(shù)據(jù)湖與數(shù)據(jù)倉(cāng)庫(kù)割裂的體系,在架構(gòu)上將數(shù)據(jù)湖的靈活性、生態(tài)豐富與數(shù)據(jù)倉(cāng)庫(kù)的企業(yè)級(jí)能力進(jìn)行融合,從而構(gòu)建數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)融合的湖倉(cāng)一體的全新計(jì)算平臺(tái)。MaxCompute湖倉(cāng)一體方案不僅可廣泛用于支持超大規(guī)模的機(jī)器學(xué)習(xí)和深度學(xué)習(xí),還能幫助企業(yè)高效提升自身大數(shù)據(jù)能力,實(shí)現(xiàn)敏捷運(yùn)營(yíng),降本增效。

　　據(jù)悉,MaxCompute在原有的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)上,融合了存儲(chǔ)計(jì)算一體化數(shù)據(jù)倉(cāng)庫(kù)和云上存儲(chǔ)計(jì)算分離的數(shù)據(jù)湖,最終實(shí)現(xiàn)了湖倉(cāng)一體化的整體架構(gòu)。在該架構(gòu)中,盡管底層多套存儲(chǔ)系統(tǒng)并存,但通過(guò)統(tǒng)一的存儲(chǔ)訪問(wèn)層和統(tǒng)一的元數(shù)據(jù)管理,向上層引擎提供一體的封裝接口,用戶(hù)可以Join數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖中的兩張表,同時(shí)整體架構(gòu)還具備統(tǒng)一的數(shù)據(jù)安全、管理和治理等中臺(tái)能力。

　　在技術(shù)融合過(guò)程中,MaxCompute不僅實(shí)現(xiàn)了快速接入、統(tǒng)一數(shù)據(jù)/元數(shù)據(jù)管理、統(tǒng)一開(kāi)發(fā)體驗(yàn)、自動(dòng)數(shù)倉(cāng)四個(gè)關(guān)鍵技術(shù)點(diǎn),更持續(xù)提升了核心性能,在2020 TPCx-BigBench中,MaxCompute基于英特爾至強(qiáng)可擴(kuò)展處理器在100TB規(guī)模保持性能不變的情況下,成本較去年下降了40%;30TB規(guī)模下,性能提升50%以上,成本下降了30%以上。

　　微博是“湖倉(cāng)一體”的嘗鮮者。此前微博擁有Hadoop數(shù)據(jù)湖和阿里云大數(shù)據(jù)及AI兩套異構(gòu)的大數(shù)據(jù)平臺(tái),且兩套平臺(tái)在集群層面完全割裂,數(shù)據(jù)和計(jì)算無(wú)法自由流動(dòng)。為了解決這些難題,微博基于阿里云構(gòu)建了湖倉(cāng)一體化的AI計(jì)算中臺(tái),擺脫了繁重的數(shù)據(jù)搬遷,使得微博的數(shù)據(jù)工程師和算法工程師輕松無(wú)縫的借助阿里巴巴成熟的超大規(guī)模算力和算法賦能業(yè)務(wù)提效。同時(shí),將MaxCompute云數(shù)據(jù)倉(cāng)庫(kù)(結(jié)構(gòu)化數(shù)據(jù))與數(shù)據(jù)湖(非結(jié)構(gòu)化數(shù)據(jù))構(gòu)成閉環(huán),極大提升了AI類(lèi)作業(yè)效率,產(chǎn)生巨大的業(yè)務(wù)價(jià)值。

　　阿里云自研云數(shù)據(jù)倉(cāng)庫(kù)MaxCompute歷經(jīng)近10年技術(shù)沉淀,不僅穩(wěn)定支撐阿里巴巴集團(tuán)的數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)計(jì)算業(yè)務(wù),更是云上客戶(hù)大數(shù)據(jù)平臺(tái)的重要組成部分。此次湖倉(cāng)一體發(fā)布,為企業(yè)提供了一種更靈活更高效更經(jīng)濟(jì)的數(shù)據(jù)平臺(tái)解決方案,既適用于全新構(gòu)建大數(shù)據(jù)平臺(tái)的企業(yè),也適合已有大數(shù)據(jù)平臺(tái)的企業(yè)進(jìn)行架構(gòu)升級(jí),切實(shí)以技術(shù)加速了企業(yè)的數(shù)字化重構(gòu)。

　　據(jù)了解,本次云棲大會(huì)上,賈揚(yáng)清還首次發(fā)布阿里云云原生數(shù)據(jù)湖體系,基于對(duì)象存儲(chǔ)OSS、數(shù)據(jù)湖構(gòu)建Data Lake Formation和云原生開(kāi)源大數(shù)據(jù)產(chǎn)品E-MapReduce的強(qiáng)強(qiáng)組合,提供存儲(chǔ)與計(jì)算分離架構(gòu)下,涵蓋湖存儲(chǔ)、湖加速、湖管理和湖計(jì)算的企業(yè)級(jí)數(shù)據(jù)湖解決方案。以及宣布MaxCompute和Hologres產(chǎn)品融合升級(jí),提供離線、實(shí)時(shí)、分析、服務(wù)一體的數(shù)據(jù)倉(cāng)庫(kù)。