星環(huán)科技構(gòu)建數(shù)據(jù)、應(yīng)用、智能融合的數(shù)字化PaaS數(shù)據(jù)云平臺(tái)

　　5月21-23日，由星環(huán)科技主辦的第三屆前沿科技論壇在上海舉行，本次論壇以“科技，讓城市更美好”為主題。會(huì)上，星環(huán)科技研發(fā)總監(jiān)劉汪根，發(fā)布了全新的數(shù)據(jù)云平臺(tái)建設(shè)體系。

　　完善的Paas數(shù)據(jù)云平臺(tái)產(chǎn)品體系

　　星環(huán)科技數(shù)據(jù)云平臺(tái)Transwarp Data Cloud 2.0版本的發(fā)布，完美的詮釋了星環(huán)科技的技術(shù)思路。TDC是為了滿足企業(yè)對(duì)于數(shù)據(jù)云需求而打造的云原生平臺(tái)，它采用容器技術(shù)，以數(shù)據(jù)為中心，通過(guò)提供完整的數(shù)據(jù)、應(yīng)用和智能的開發(fā)工具，實(shí)現(xiàn)數(shù)據(jù)和應(yīng)用互通互聯(lián)。TDC 2.0與上一版本相比能更全面的滿足不用業(yè)務(wù)，不同角色的工作需求，為企業(yè)數(shù)字化的轉(zhuǎn)變提供更完善的支撐。

　　其次，星環(huán)PaaS平臺(tái)加入了兩個(gè)新的產(chǎn)品，分布式交易數(shù)據(jù)庫(kù)KunDB以及企業(yè)級(jí)數(shù)據(jù)資產(chǎn)目錄Transwarp Data Catalog，分別解決了企業(yè)級(jí)大規(guī)模交易庫(kù)處理，以及數(shù)據(jù)資產(chǎn)管理混亂的問(wèn)題。

　　Transwarp KunDB是專門為新一代云業(yè)務(wù)提供服務(wù)的云原生數(shù)據(jù)庫(kù)，可以作為企業(yè)微服務(wù)化之后的后臺(tái)數(shù)據(jù)庫(kù)對(duì)業(yè)務(wù)提供支撐。同時(shí)KunDB采用了多租戶設(shè)計(jì)，可支撐業(yè)務(wù)建設(shè)中心化的趨勢(shì)。作為國(guó)產(chǎn)自主可控的數(shù)據(jù)庫(kù)，可以適配各種國(guó)產(chǎn)化硬件創(chuàng)造完全自主可控的環(huán)境。

　　Transwarp Data Catalog 為企業(yè)數(shù)據(jù)治理提供可靠、 便捷、 智能的全流程工具支撐，從而更加有效的發(fā)掘和利用信息資產(chǎn)的價(jià)值。同時(shí)它也提供完整的企業(yè)級(jí)數(shù)據(jù)交換功能，并已經(jīng)在客戶應(yīng)用中得到了驗(yàn)證。

　　另外為了推動(dòng)星環(huán)生態(tài)的建設(shè)，星環(huán)數(shù)據(jù)云平臺(tái)團(tuán)隊(duì)開源了內(nèi)部的應(yīng)用生命周期管理服務(wù)Transwarp WALM，以懷抱社區(qū)，做出貢獻(xiàn)。企業(yè)要能夠構(gòu)建自己的應(yīng)用市場(chǎng)，在云原生技術(shù)上支持并實(shí)現(xiàn)，需要有一套可行的應(yīng)用管理的框架。通過(guò)WALM，任何企業(yè)都可以通過(guò)標(biāo)準(zhǔn)化接口將應(yīng)用編排在云原生框架上。

　　會(huì)上還發(fā)布了大數(shù)據(jù)安全白皮書，再次強(qiáng)調(diào)在星環(huán)科技產(chǎn)品設(shè)計(jì)中的大數(shù)據(jù)安全考量。根據(jù)星環(huán)科技多年的大數(shù)據(jù)安全實(shí)踐經(jīng)驗(yàn)，總結(jié)了一些企業(yè)在做企業(yè)級(jí)數(shù)據(jù)平臺(tái)建設(shè)時(shí)應(yīng)考慮到的安全規(guī)范，并為安全體系的設(shè)計(jì)、管理和規(guī)范提供一個(gè)衡量標(biāo)準(zhǔn)。

　　劉汪根在提出數(shù)據(jù)、應(yīng)用、智能是數(shù)據(jù)時(shí)代企業(yè)創(chuàng)新的核心元素，構(gòu)建三者融合的數(shù)字化PaaS數(shù)據(jù)云平臺(tái)能夠極大加速企業(yè)數(shù)字化創(chuàng)新。并通過(guò)技術(shù)發(fā)展路徑，應(yīng)用需求等角度詳解了數(shù)字化PaaS數(shù)據(jù)云平臺(tái)建設(shè)的重要性。

　　數(shù)據(jù)管理模式的變遷

　　數(shù)據(jù)管理模式在近20年發(fā)生了明顯的變化，最初企業(yè)建設(shè)數(shù)據(jù)分析系統(tǒng)采用簡(jiǎn)單的架構(gòu)，數(shù)據(jù)分析系統(tǒng)直接利用交易數(shù)據(jù)庫(kù)的計(jì)算和存儲(chǔ)能力進(jìn)行分析，但是交易庫(kù)不適合做分析業(yè)務(wù)，計(jì)算能力有限，這一時(shí)期稱為有限分析的時(shí)代。

　　Bill Inmon在1992年提出了數(shù)據(jù)倉(cāng)庫(kù)理論，商業(yè)智能快速發(fā)展，進(jìn)入企業(yè)數(shù)據(jù)倉(cāng)庫(kù)時(shí)代。數(shù)據(jù)從交易庫(kù)同步至數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)倉(cāng)庫(kù)提供大量存量數(shù)據(jù)的分析，這一時(shí)期推動(dòng)了ETL工具(數(shù)據(jù)同步)和MPP數(shù)據(jù)庫(kù)的發(fā)展。

　　2010年后，業(yè)務(wù)需求推動(dòng)了大數(shù)據(jù)技術(shù)的發(fā)展，大量新型數(shù)據(jù)的發(fā)展，推動(dòng)了基于大數(shù)據(jù)的數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖、數(shù)據(jù)集市的建設(shè)，同時(shí)AI的興起帶動(dòng)了數(shù)據(jù)科學(xué)平臺(tái)的發(fā)展。這一時(shí)期，因系統(tǒng)獨(dú)立建設(shè)帶來(lái)數(shù)據(jù)孤島的問(wèn)題，限制了企業(yè)數(shù)字化程度的推進(jìn)，因此企業(yè)著手解決數(shù)據(jù)孤島的問(wèn)題，開始建設(shè)除了分析業(yè)務(wù)系統(tǒng)外的在線數(shù)據(jù)業(yè)務(wù)系統(tǒng)。但是數(shù)據(jù)、應(yīng)用和AI平臺(tái)之間相互獨(dú)立，只能通過(guò)接口層做有限的交互。在這個(gè)階段，很多企業(yè)都是在嘗試新應(yīng)用的拓展，在此過(guò)程中摸索新的管理方式。

　　隨著前線人員對(duì)數(shù)據(jù)的需求越來(lái)越多，企業(yè)需要開發(fā)出大量新的數(shù)據(jù)應(yīng)用來(lái)持續(xù)的迭代業(yè)務(wù)，改進(jìn)用戶體驗(yàn)，包括實(shí)時(shí)類、AI類、在線數(shù)據(jù)類業(yè)務(wù)的大量創(chuàng)新和嘗試，要求數(shù)據(jù)、AI和應(yīng)用能夠非常有機(jī)的融合，因此最終在一個(gè)云來(lái)支持彈性、靈活的數(shù)據(jù)和應(yīng)用云。

　　應(yīng)用開發(fā)模式的變遷

　　傳統(tǒng)的應(yīng)用開發(fā)采用單體建設(shè)的方式，單體建設(shè)對(duì)維護(hù)難度和迭代速度等需求都不是很友好，會(huì)出現(xiàn)代碼維護(hù)難度高，重復(fù)開發(fā)多，部署不靈活，性能不足，擴(kuò)展性不夠，開發(fā)效率低等問(wèn)題。

　　1.代碼維護(hù)難：代碼功能耦合高，后期維護(hù)難，測(cè)試復(fù)雜，無(wú)法保證代碼質(zhì)量。

　　2.重復(fù)開發(fā)多：相似功能在多個(gè)應(yīng)用中都存在(比如短信模板)，需要在每個(gè)應(yīng)用中重新開發(fā)一遍，浪費(fèi)開發(fā)和維護(hù)資源。

　　3.部署不靈活：構(gòu)建時(shí)間長(zhǎng)，任何小修改必須重新構(gòu)建整個(gè)項(xiàng)目，而且無(wú)法只升級(jí)某個(gè)子模塊，必須全部升級(jí)。

　　4.性能不足：?jiǎn)蝹�(gè)模塊的問(wèn)題，可能導(dǎo)致整個(gè)應(yīng)用的性能和擴(kuò)展性不足，難以單獨(dú)調(diào)試性能。

　　5.擴(kuò)展性不夠：無(wú)法分離業(yè)務(wù)和數(shù)據(jù)，面對(duì)高并發(fā)場(chǎng)景無(wú)法擴(kuò)展性能，缺少資源動(dòng)態(tài)伸縮能力。

　　6.開發(fā)效率低：模塊復(fù)雜，所有開發(fā)在一個(gè)項(xiàng)目改代碼，不通做到不同模塊并行開發(fā)。

　　微服務(wù)開發(fā)模式提出后，受到廣泛推廣，特別在互聯(lián)網(wǎng)行業(yè)得到很廣泛的應(yīng)用，在互聯(lián)網(wǎng)企業(yè)的覆蓋率達(dá)到將近90%。應(yīng)用微服務(wù)化就是將單體應(yīng)用切分成各個(gè)微服務(wù)，微服務(wù)之間通過(guò)接口通信，以微服務(wù)集群的方式對(duì)外提供服務(wù)。微服務(wù)開發(fā)模式交付速快質(zhì)量高，避免重復(fù)開發(fā)，運(yùn)維靈活，可構(gòu)建企業(yè)數(shù)據(jù)應(yīng)用中心。

　　1.交付迅速質(zhì)量高：每個(gè)微服務(wù)模塊小，開發(fā)維護(hù)便捷;搭配持續(xù)集成持續(xù)發(fā)布工具，代碼質(zhì)量高，可交付迭代實(shí)踐縮短。

　　2.避免重復(fù)開發(fā)：將共用服務(wù)提取出來(lái)，節(jié)省開發(fā)資源，避免重復(fù)造輪子;可針對(duì)性的對(duì)部分支撐服務(wù)給予更多的資源。

　　3.運(yùn)維靈活：灰度發(fā)布策略使得上線新服務(wù)風(fēng)險(xiǎn)可控;實(shí)現(xiàn)自動(dòng)伸縮、流控機(jī)制，防止高并發(fā)場(chǎng)景下服務(wù)崩潰;完善的日志管理，監(jiān)控告警即成。

　　4.構(gòu)建企業(yè)數(shù)據(jù)應(yīng)用中心：當(dāng)微服務(wù)量級(jí)提高，可沉淀為應(yīng)用中心，為全公司乃至全行業(yè)賦能;業(yè)務(wù)平臺(tái)可直接對(duì)接數(shù)據(jù)中心，實(shí)現(xiàn)業(yè)務(wù)和數(shù)據(jù)的無(wú)縫鏈接。

　　數(shù)字化面臨的挑戰(zhàn)

　　大數(shù)據(jù)、云計(jì)算、微服務(wù)開發(fā)技術(shù)，都是技術(shù)層面上的發(fā)展，企業(yè)如何能利用這些應(yīng)用制定企業(yè)數(shù)據(jù)化戰(zhàn)略，從而實(shí)現(xiàn)數(shù)據(jù)化管理的轉(zhuǎn)變，是管理者們需要考慮的問(wèn)題。目前，阻礙企業(yè)數(shù)字化推進(jìn)的問(wèn)題主要有以下幾點(diǎn)：

　　1.數(shù)字化進(jìn)程跟不上市場(chǎng)需求：業(yè)務(wù)的創(chuàng)新就是機(jī)遇，如果花很長(zhǎng)時(shí)間例如一年或者半年，很可能就丟失掉機(jī)會(huì)。

　　2.數(shù)字化缺少統(tǒng)一方案：各個(gè)應(yīng)用系統(tǒng)之間規(guī)劃之初就沒(méi)有考慮未來(lái)互通的可能性，導(dǎo)致煙囪式開發(fā)，后期需要進(jìn)行系統(tǒng)集成及數(shù)據(jù)共享很難甚至無(wú)法實(shí)現(xiàn)。

　　3.缺乏自主可控的研發(fā)平臺(tái)：大多數(shù)企業(yè)缺乏統(tǒng)一化的研發(fā)平臺(tái)，對(duì)于項(xiàng)目研發(fā)的各個(gè)環(huán)節(jié)及后續(xù)升級(jí)的掌控能力很弱，導(dǎo)致資源的浪費(fèi)及不必要的研發(fā)支出 。

　　4.缺乏對(duì)已有數(shù)據(jù)資產(chǎn)的管理意識(shí)：存量及增量數(shù)據(jù)依然處于傳統(tǒng)的管理思維模式：零散分布于各個(gè)不兼容互通的業(yè)務(wù)系統(tǒng)之中。

　　5.缺乏長(zhǎng)期數(shù)字化戰(zhàn)略：數(shù)字化轉(zhuǎn)型方興未艾，并沒(méi)有形成技術(shù)及業(yè)務(wù)上標(biāo)準(zhǔn)，新的技術(shù)概念層出不窮，比較難選出既解決短期目標(biāo)，又能支持?jǐn)?shù)字化戰(zhàn)略的可持續(xù)化發(fā)展技術(shù)。

　　數(shù)據(jù)云

　　對(duì)于以上數(shù)字化挑戰(zhàn)，云平臺(tái)可以以其資源彈性伸縮、快速部署迭代、支撐微服務(wù)化開發(fā)、資源管理編排等能力，打通數(shù)據(jù)與業(yè)務(wù)很好的解決以上問(wèn)題。

　　云平臺(tái)建設(shè)的兩個(gè)思路。一種是以O(shè)penStack為代表的以資源為中心的建設(shè)方式，采用虛擬化技術(shù)將底層資源包裝成個(gè)各種服務(wù)，用戶可以租用這些資源，在上面構(gòu)建各種應(yīng)用。但是這種方式還是以資源管理為中心，而不是數(shù)據(jù)為中心，企業(yè)還是采用煙囪式技術(shù)棧，比較難在這種平臺(tái)上打通應(yīng)用和數(shù)據(jù)。另一種是以星環(huán)科技TDC為代表的以數(shù)據(jù)為中心的建設(shè)方式，可以稱之為數(shù)據(jù)云，先在上層支撐應(yīng)用建設(shè)，這樣可以實(shí)現(xiàn)以數(shù)據(jù)驅(qū)動(dòng)應(yīng)用的發(fā)展。數(shù)據(jù)云的特征是以數(shù)據(jù)為中心，提供數(shù)據(jù)資產(chǎn)服務(wù)、應(yīng)用開發(fā)和數(shù)據(jù)分析的完整工具鏈，加速數(shù)據(jù)、應(yīng)用和智能三大核心原料的融合。數(shù)據(jù)云通過(guò)容器化技術(shù)來(lái)運(yùn)行各種工作負(fù)載，提供多租戶、自動(dòng)擴(kuò)展資源、服務(wù)自監(jiān)控等能力，實(shí)現(xiàn)開發(fā)與運(yùn)維的平衡。

　　數(shù)據(jù)云在云平臺(tái)層提供了各種數(shù)據(jù)資源服務(wù)，包括大數(shù)據(jù)、AI、流計(jì)算、數(shù)據(jù)資產(chǎn)等，為整個(gè)技術(shù)架構(gòu)提供堅(jiān)實(shí)的底座。企業(yè)以云平臺(tái)為基礎(chǔ)，構(gòu)建數(shù)據(jù)業(yè)務(wù)中心，包含了沉淀下來(lái)的很多可以被再次利用的數(shù)據(jù)服務(wù)，比如審批管理流程、用戶中心、訂單中心，這些所有的這些業(yè)務(wù)行為，都可以被抽象為標(biāo)準(zhǔn)化的服務(wù)，公司內(nèi)部統(tǒng)一去使用。當(dāng)去開發(fā)一個(gè)新的應(yīng)用的時(shí)候，開發(fā)者只關(guān)注自身的業(yè)務(wù)邏輯，以及哪些模塊可以從數(shù)字業(yè)務(wù)中心找到并直接使用。數(shù)據(jù)云平臺(tái)的最上面一層DMZ區(qū)，DMZ是在外部網(wǎng)絡(luò)和內(nèi)部網(wǎng)絡(luò)之間設(shè)置隔離區(qū)，作為非安全區(qū)與 安全區(qū)之間的緩沖，重要的計(jì)算以及數(shù)據(jù)存儲(chǔ)服務(wù)放在內(nèi)網(wǎng)，對(duì)外服務(wù)放在 DMZ 區(qū)，可以直接在各種客戶端上提供應(yīng)用服務(wù)。

　　用TDC建設(shè)數(shù)字化基礎(chǔ)設(shè)施

　　Transwarp Data Cloud( 以下簡(jiǎn)稱TDC )是星環(huán)科技實(shí)現(xiàn)的數(shù)據(jù)云平臺(tái)，結(jié)合了星環(huán)科技在大數(shù)據(jù)、云平臺(tái)和人工智能領(lǐng)域的技術(shù)探索與取得的進(jìn)展，為企業(yè)提供數(shù)字化建設(shè)的基礎(chǔ)設(shè)施平臺(tái)。TDC的底層是星環(huán)科技自研的云原生操作系統(tǒng)TCOS，該項(xiàng)目在2015年成立，目標(biāo)就是要把未來(lái)的所有的基礎(chǔ)設(shè)施都建設(shè)在新一代云平臺(tái)上。中間是三個(gè)中心PaaS服務(wù)，包括分析PaaS、數(shù)據(jù)PaaS、應(yīng)用PaaS：分析PaaS滿足數(shù)據(jù)分析服務(wù)內(nèi)外開放的需求，允許大量數(shù)據(jù)工程師、 數(shù)據(jù)科學(xué)家在一個(gè)平臺(tái)上并發(fā)工作，促進(jìn)相互協(xié)作;數(shù)據(jù)PaaS提供了數(shù)據(jù)處理和開發(fā)所需的數(shù)據(jù)庫(kù)服務(wù)，解決了數(shù)據(jù)分散、 隔離問(wèn)題，避免交換障礙，使各類數(shù)據(jù)資產(chǎn)共享集中存儲(chǔ);應(yīng)用PaaS提供了應(yīng)用開發(fā)的各種框架以及中間件，解決應(yīng)用開發(fā)、部署、運(yùn)維、治理的效率問(wèn)題，可應(yīng)對(duì)企業(yè)面臨的各類應(yīng)用開發(fā)和管理障礙。大數(shù)據(jù)推動(dòng)數(shù)據(jù)變現(xiàn)的同時(shí)，其安全問(wèn)題成為威脅和挑戰(zhàn)，TDC提供專門的安全管理模塊，保證資源層、數(shù)據(jù)層、應(yīng)用層收到全面安全體系的管理管控，以保證數(shù)據(jù)安全和全平臺(tái)的可靠性。另外，還提供云管平臺(tái)，以滿足多云管理、運(yùn)維、計(jì)費(fèi)的有效管理需求。

　　以上的模塊共同構(gòu)成了TDC以下幾個(gè)能力：

　　1.提供基于云原生技術(shù)構(gòu)建的企業(yè)應(yīng)用市場(chǎng)，每個(gè)企業(yè)可以根據(jù)自己的需求來(lái)構(gòu)建自應(yīng)用市場(chǎng)，也就是上文提到的數(shù)字業(yè)務(wù)中心。

　　2.提供了統(tǒng)一的數(shù)據(jù)開發(fā)技術(shù)，基于SQL的數(shù)據(jù)開發(fā)技術(shù)，以及基于python的數(shù)據(jù)科學(xué)分析。

　　3.提供完成混合云的管理技術(shù)。無(wú)論數(shù)據(jù)、服務(wù)是構(gòu)建在邊緣端，還是在公有云或其他私有云，只要通過(guò)容器化的技術(shù)，TDC都可以實(shí)現(xiàn)統(tǒng)一管理和調(diào)度，無(wú)需關(guān)注部署落地細(xì)節(jié)。

　　4.提供了融合的安全管理技術(shù)，無(wú)論是數(shù)據(jù)還是資源，只要接入星環(huán)的管理的API和管理體系，我們都能夠提供整套的數(shù)據(jù)鏈路安全管控。