賦能行業(yè)數(shù)據(jù) 華為云FusionInsight方案解析

　　輸入手機(jī)號(hào)碼后，賬號(hào)注冊(cè)完成。不知不覺中你又貢獻(xiàn)了一次自己的數(shù)據(jù)，而這種類似的數(shù)據(jù)貢獻(xiàn)行為的發(fā)生，實(shí)質(zhì)上促進(jìn)了大數(shù)據(jù)行業(yè)及其生態(tài)鏈發(fā)展。由此，通過(guò)大數(shù)據(jù)分析，政企可以精準(zhǔn)測(cè)算出你生活和工作所喜好的一切。

　　大數(shù)據(jù)力量之強(qiáng)大讓其成為平安城市的幕后推手，像華為云FusionInsight這樣的大數(shù)據(jù)平臺(tái)解決方案，正在幫助企業(yè)快速構(gòu)建海量數(shù)據(jù)信息處理系統(tǒng)，發(fā)現(xiàn)數(shù)據(jù)價(jià)值和商機(jī)。

　　大數(shù)據(jù)時(shí)代 "要有光"

　　六年前，《紐約時(shí)報(bào)》寫到"大數(shù)據(jù)時(shí)代已經(jīng)降臨，在商業(yè)、經(jīng)濟(jì)及其他領(lǐng)域中，決策將日益基于數(shù)據(jù)和分析而作出，而并非基于經(jīng)驗(yàn)和直覺。"在商業(yè)領(lǐng)域，大數(shù)據(jù)成為輔助決策的重要手段;在平安城市和金融領(lǐng)域，大數(shù)據(jù)成為城市維穩(wěn)和建立個(gè)人征信系統(tǒng)的評(píng)分關(guān)鍵。

　　在今年年初，包括廣東深圳在內(nèi)的部分城市開始支持電子身份證模式。通過(guò)電子身份證辦理酒店入住、乘車驗(yàn)票，該電子身份證擁有與第二代身份證同等法律效力。這種模式讓數(shù)據(jù)信息更加靈活，為人們帶來(lái)了方便，但同時(shí)也需要完善的IT系統(tǒng)和大數(shù)據(jù)支持來(lái)完成。

　　也就是說(shuō)，大數(shù)據(jù)"早已不是"數(shù)據(jù)大"了，數(shù)據(jù)也不等同于信息，單純的數(shù)據(jù)存儲(chǔ)價(jià)值不大，要想獲得數(shù)據(jù)的智慧之光，需要對(duì)大數(shù)據(jù)實(shí)時(shí)、彈性、高效的分析。

　　數(shù)據(jù)+行業(yè) 實(shí)現(xiàn)產(chǎn)業(yè)賦能

　　過(guò)了大數(shù)據(jù)的炒作期之后，企業(yè)開始看到數(shù)據(jù)價(jià)值，開始期望實(shí)現(xiàn)數(shù)據(jù)產(chǎn)出，將數(shù)據(jù)轉(zhuǎn)化為利潤(rùn)，希望利用大數(shù)據(jù)結(jié)合不同行業(yè)實(shí)現(xiàn)產(chǎn)業(yè)賦能。

　　就像沒(méi)有一把萬(wàn)能鑰匙，目前也沒(méi)有一個(gè)能夠適應(yīng)所有行業(yè)的大數(shù)據(jù)分析。通信、電子政務(wù)、公安、金融、零售、醫(yī)療、能源等不同行業(yè)具有不同的需求特點(diǎn)，需要不同的大數(shù)據(jù)行業(yè)應(yīng)用解決方案。

　　大數(shù)據(jù)概念很熱，但大數(shù)據(jù)對(duì)不同行業(yè)的應(yīng)用場(chǎng)景有明顯的區(qū)別，做一個(gè)滿足用戶需求，打破數(shù)據(jù)孤島的大數(shù)據(jù)平臺(tái)并不容易。從目前的數(shù)據(jù)形態(tài)來(lái)看，隨著網(wǎng)絡(luò)技術(shù)的不斷強(qiáng)大，非結(jié)構(gòu)化數(shù)據(jù)逐漸增多，數(shù)據(jù)的可視化分析和數(shù)據(jù)挖掘算法兩者成為挖掘數(shù)據(jù)價(jià)值，實(shí)現(xiàn)產(chǎn)業(yè)賦能的核心。

　　對(duì)于華為來(lái)說(shuō)，海量、線性擴(kuò)展、 經(jīng)濟(jì)、可靠、高效是FusionInsight產(chǎn)品研發(fā)的初衷，F(xiàn)usionInsight需要同時(shí)滿足數(shù)千個(gè)節(jié)點(diǎn)的功能、運(yùn)維、多租戶、可用性、安全性、兼容性、擴(kuò)展性、易用性等能力。

　　華為FusionInsight大數(shù)據(jù)平臺(tái)長(zhǎng)期與金融、電信等不同行業(yè)合作，有著豐富的經(jīng)驗(yàn)。金融行業(yè)更需要以數(shù)據(jù)挖掘?yàn)榛�礎(chǔ)的服務(wù)升級(jí)，運(yùn)營(yíng)商也面臨數(shù)據(jù)數(shù)量、種類的爆炸式增長(zhǎng)，需要提升數(shù)據(jù)處理速度，提升容災(zāi)備份能力和可靠性，需要敏捷的啟動(dòng)和運(yùn)維能力，提升競(jìng)爭(zhēng)力。華為FusionInsight大數(shù)據(jù)平臺(tái)為這些問(wèn)題提供了解決方案。

　　從2011年開始，華為開始投入FusionInsight大數(shù)據(jù)解決方案平臺(tái)。截止去年(2017年)年底，在全球TOP 50的客戶里面有30個(gè)客戶選擇華為FusionInsight大數(shù)據(jù)平臺(tái)，國(guó)內(nèi)TOP 20的一半企業(yè)選擇華為FusionInsight大數(shù)據(jù)平臺(tái)，包括公共安全、政務(wù)都在廣泛的應(yīng)用。

　　數(shù)據(jù)之"光" 華為FusionInsight應(yīng)用落地

　　華為FusionInsight大數(shù)據(jù)解決方案中就包含了四個(gè)子產(chǎn)品FusionInsight HD、FusionInsight LibrA、FusionInsight Miner、FusionInsight Farmer和一個(gè)操作系統(tǒng)FusionInsight Manafer組成。

　　依托全球人才，華為擁有從芯片、硬件、算法、模型等全方位布局服務(wù)全球客戶，與法國(guó)等國(guó)家成立了聯(lián)合實(shí)驗(yàn)室，一起孵化創(chuàng)新解決方案，在國(guó)內(nèi)與交通領(lǐng)域、交管領(lǐng)域和公安部交管所合作實(shí)現(xiàn)實(shí)時(shí)風(fēng)控，并在監(jiān)察系統(tǒng)等方面構(gòu)筑了比較領(lǐng)先的應(yīng)用解決方案。

　　在與各大運(yùn)營(yíng)商與金融行業(yè)客戶合作的案例中，雙方在大數(shù)據(jù)平臺(tái)、數(shù)據(jù)集成系統(tǒng)、數(shù)據(jù)倉(cāng)庫(kù)等方面進(jìn)行了深入合作。以運(yùn)營(yíng)商為例，原來(lái)煙囪式應(yīng)用系統(tǒng)導(dǎo)致數(shù)據(jù)重復(fù)存儲(chǔ)，跨系統(tǒng)數(shù)據(jù)共享難度大，業(yè)務(wù)決策分析緩慢，面對(duì)大量非結(jié)構(gòu)化數(shù)據(jù)壓力，使運(yùn)營(yíng)商數(shù)據(jù)體量極大，處理難度更大。

　　在當(dāng)前的實(shí)際的應(yīng)用環(huán)境下，數(shù)據(jù)一般都是分布化存在的，應(yīng)用也是分布式的。而數(shù)據(jù)治理就是在你想把數(shù)據(jù)轉(zhuǎn)化，實(shí)現(xiàn)價(jià)值變現(xiàn)過(guò)程中必不可少的一部分。

　　數(shù)據(jù)治理：現(xiàn)在流行的精準(zhǔn)營(yíng)銷，其核心就是數(shù)據(jù)的治理與分類，建立好不同類別的目錄，在據(jù)此分析用戶行為數(shù)據(jù)，進(jìn)行精準(zhǔn)營(yíng)銷。數(shù)據(jù)治理本身和水污染治理很像，都需要一個(gè)框架指導(dǎo)規(guī)范，在此之上，建立數(shù)據(jù)管理成熟度模型。

　　方案架構(gòu)圖

　　很大程度上，數(shù)據(jù)服務(wù)的好壞取決于數(shù)據(jù)治理的程度。說(shuō)數(shù)據(jù)治理一定要說(shuō)數(shù)據(jù)戰(zhàn)略，成立數(shù)據(jù)專項(xiàng)小組做數(shù)據(jù)治理規(guī)劃和措施，在確定數(shù)據(jù)生命周期，進(jìn)行全程化管理。

　　具體而言就是在數(shù)據(jù)治理過(guò)程中，首先采集數(shù)據(jù)，通過(guò)歸檔日志等方式解析數(shù)據(jù)，分析出主數(shù)據(jù);然后先到ODS層，可以進(jìn)行數(shù)據(jù)備份、查詢、分析，進(jìn)而分擔(dān)系統(tǒng)壓力;在進(jìn)行ELT二次抽取，建設(shè)標(biāo)準(zhǔn)庫(kù)，對(duì)上一層ODS里面額的數(shù)據(jù)進(jìn)行處理;再在據(jù)此按照一定主題或維度，建立華為架構(gòu)融合和數(shù)據(jù)融合"兩條腿走路"的融合數(shù)據(jù)倉(cāng)庫(kù)。

　　不同于傳統(tǒng)數(shù)倉(cāng)，華為的融合數(shù)倉(cāng)可以將原有的資源進(jìn)行整合，提供更具擴(kuò)展性、優(yōu)化的融合數(shù)倉(cāng)方案。

　　FusionInsight LibrA：華為OLAP型數(shù)據(jù)庫(kù)FusionInsight LibrA，能夠?qū)崿F(xiàn)PB級(jí)數(shù)量處理能力，建立可靠數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市、BI系統(tǒng)、決策支持系統(tǒng)和大數(shù)據(jù)SQL結(jié)構(gòu)化數(shù)據(jù)分析解決方案。用于支撐各類數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)、數(shù)據(jù)集市、BI(Business Intelligence)系統(tǒng)和決策支持系統(tǒng)。

　　LibrA采用MPP(Massive Parallel Processing)架構(gòu)，提供了標(biāo)準(zhǔn)SQL支持、數(shù)據(jù)庫(kù)存儲(chǔ)管理功能、組建管理和HA數(shù)據(jù)節(jié)點(diǎn)、API和安全管理，支持行存儲(chǔ)與列存儲(chǔ)，提供PB(Petabyte，250字節(jié))級(jí)別數(shù)據(jù)量的處理能力，滿足當(dāng)下數(shù)據(jù)多形態(tài)與大體量的需求。

　　LibrA采用Share-nothing架構(gòu)，不同架構(gòu)對(duì)比

　　基于開源數(shù)據(jù)庫(kù)Postgres-XC開發(fā)的華為FusionInsight LibrA分布式并行關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)采用無(wú)共享架構(gòu)，使數(shù)據(jù)分析任務(wù)被推送到數(shù)據(jù)所在位置就近執(zhí)行，通過(guò)控制模塊協(xié)調(diào)，能夠?qū)崿F(xiàn)并行大規(guī)模數(shù)據(jù)處理，實(shí)現(xiàn)快速反應(yīng)。

　　在可靠性與安全性方面，LibrA擁有全方位安全保障機(jī)制，獨(dú)創(chuàng)的主+備+Handoff三重?cái)?shù)據(jù)保護(hù)，協(xié)調(diào)節(jié)點(diǎn)多活設(shè)計(jì)，提供企業(yè)級(jí)可靠性保障。

　　古龍說(shuō)"只有陽(yáng)光是最公平的，不管你這個(gè)人是不是快死了，都同樣照在你身上，讓你覺得光明，溫暖。" LibrA在英文中還代表了天秤座，這個(gè)星座最大的特點(diǎn)便是如同陽(yáng)光一樣公平公正，同時(shí)懂得因地制宜，像FusionInsight LibrA一樣彈性可靠，適應(yīng)力強(qiáng)。

　　面對(duì)持續(xù)激增的海量數(shù)據(jù)信息，企業(yè)開始認(rèn)識(shí)到數(shù)據(jù)的價(jià)值，希望通過(guò)數(shù)據(jù)采集、挖掘、治理，完成大數(shù)據(jù)輔助決策，實(shí)現(xiàn)數(shù)據(jù)到價(jià)值的轉(zhuǎn)換。華為FusionInsight大數(shù)據(jù)平臺(tái)通過(guò)融合倉(cāng)庫(kù)、LibrA等技術(shù)駕馭海量信息，幫助企業(yè)快速構(gòu)建海量數(shù)據(jù)信息處理系統(tǒng)，對(duì)企業(yè)內(nèi)部和外部的信息數(shù)據(jù)進(jìn)行實(shí)時(shí)與非實(shí)時(shí)的分析挖掘，幫助企業(yè)將數(shù)據(jù)"點(diǎn)石成金"，賦能行業(yè)并實(shí)現(xiàn)價(jià)值，讓數(shù)據(jù)煥發(fā)智慧之光。