賦能行業(yè)數(shù)據(jù) 華為云FusionInsight方案解析

　　輸入手機號碼后，賬號注冊完成。不知不覺中你又貢獻了一次自己的數(shù)據(jù)，而這種類似的數(shù)據(jù)貢獻行為的發(fā)生，實質(zhì)上促進了大數(shù)據(jù)行業(yè)及其生態(tài)鏈發(fā)展。由此，通過大數(shù)據(jù)分析，政企可以精準測算出你生活和工作所喜好的一切。

　　大數(shù)據(jù)力量之強大讓其成為平安城市的幕后推手，像華為云FusionInsight這樣的大數(shù)據(jù)平臺解決方案，正在幫助企業(yè)快速構(gòu)建海量數(shù)據(jù)信息處理系統(tǒng)，發(fā)現(xiàn)數(shù)據(jù)價值和商機。

　　大數(shù)據(jù)時代 "要有光"

　　六年前，《紐約時報》寫到"大數(shù)據(jù)時代已經(jīng)降臨，在商業(yè)、經(jīng)濟及其他領(lǐng)域中，決策將日益基于數(shù)據(jù)和分析而作出，而并非基于經(jīng)驗和直覺。"在商業(yè)領(lǐng)域，大數(shù)據(jù)成為輔助決策的重要手段;在平安城市和金融領(lǐng)域，大數(shù)據(jù)成為城市維穩(wěn)和建立個人征信系統(tǒng)的評分關(guān)鍵。

　　在今年年初，包括廣東深圳在內(nèi)的部分城市開始支持電子身份證模式。通過電子身份證辦理酒店入住、乘車驗票，該電子身份證擁有與第二代身份證同等法律效力。這種模式讓數(shù)據(jù)信息更加靈活，為人們帶來了方便，但同時也需要完善的IT系統(tǒng)和大數(shù)據(jù)支持來完成。

　　也就是說，大數(shù)據(jù)"早已不是"數(shù)據(jù)大"了，數(shù)據(jù)也不等同于信息，單純的數(shù)據(jù)存儲價值不大，要想獲得數(shù)據(jù)的智慧之光，需要對大數(shù)據(jù)實時、彈性、高效的分析。

　　數(shù)據(jù)+行業(yè) 實現(xiàn)產(chǎn)業(yè)賦能

　　過了大數(shù)據(jù)的炒作期之后，企業(yè)開始看到數(shù)據(jù)價值，開始期望實現(xiàn)數(shù)據(jù)產(chǎn)出，將數(shù)據(jù)轉(zhuǎn)化為利潤，希望利用大數(shù)據(jù)結(jié)合不同行業(yè)實現(xiàn)產(chǎn)業(yè)賦能。

　　就像沒有一把萬能鑰匙，目前也沒有一個能夠適應(yīng)所有行業(yè)的大數(shù)據(jù)分析。通信、電子政務(wù)、公安、金融、零售、醫(yī)療、能源等不同行業(yè)具有不同的需求特點，需要不同的大數(shù)據(jù)行業(yè)應(yīng)用解決方案。

　　大數(shù)據(jù)概念很熱，但大數(shù)據(jù)對不同行業(yè)的應(yīng)用場景有明顯的區(qū)別，做一個滿足用戶需求，打破數(shù)據(jù)孤島的大數(shù)據(jù)平臺并不容易。從目前的數(shù)據(jù)形態(tài)來看，隨著網(wǎng)絡(luò)技術(shù)的不斷強大，非結(jié)構(gòu)化數(shù)據(jù)逐漸增多，數(shù)據(jù)的可視化分析和數(shù)據(jù)挖掘算法兩者成為挖掘數(shù)據(jù)價值，實現(xiàn)產(chǎn)業(yè)賦能的核心。

　　對于華為來說，海量、線性擴展、 經(jīng)濟、可靠、高效是FusionInsight產(chǎn)品研發(fā)的初衷，F(xiàn)usionInsight需要同時滿足數(shù)千個節(jié)點的功能、運維、多租戶、可用性、安全性、兼容性、擴展性、易用性等能力。

　　華為FusionInsight大數(shù)據(jù)平臺長期與金融、電信等不同行業(yè)合作，有著豐富的經(jīng)驗。金融行業(yè)更需要以數(shù)據(jù)挖掘為基礎(chǔ)的服務(wù)升級，運營商也面臨數(shù)據(jù)數(shù)量、種類的爆炸式增長，需要提升數(shù)據(jù)處理速度，提升容災(zāi)備份能力和可靠性，需要敏捷的啟動和運維能力，提升競爭力。華為FusionInsight大數(shù)據(jù)平臺為這些問題提供了解決方案。

　　從2011年開始，華為開始投入FusionInsight大數(shù)據(jù)解決方案平臺。截止去年(2017年)年底，在全球TOP 50的客戶里面有30個客戶選擇華為FusionInsight大數(shù)據(jù)平臺，國內(nèi)TOP 20的一半企業(yè)選擇華為FusionInsight大數(shù)據(jù)平臺，包括公共安全、政務(wù)都在廣泛的應(yīng)用。

　　數(shù)據(jù)之"光" 華為FusionInsight應(yīng)用落地

　　華為FusionInsight大數(shù)據(jù)解決方案中就包含了四個子產(chǎn)品FusionInsight HD、FusionInsight LibrA、FusionInsight Miner、FusionInsight Farmer和一個操作系統(tǒng)FusionInsight Manafer組成。

　　依托全球人才，華為擁有從芯片、硬件、算法、模型等全方位布局服務(wù)全球客戶，與法國等國家成立了聯(lián)合實驗室，一起孵化創(chuàng)新解決方案，在國內(nèi)與交通領(lǐng)域、交管領(lǐng)域和公安部交管所合作實現(xiàn)實時風控，并在監(jiān)察系統(tǒng)等方面構(gòu)筑了比較領(lǐng)先的應(yīng)用解決方案。

　　在與各大運營商與金融行業(yè)客戶合作的案例中，雙方在大數(shù)據(jù)平臺、數(shù)據(jù)集成系統(tǒng)、數(shù)據(jù)倉庫等方面進行了深入合作。以運營商為例，原來煙囪式應(yīng)用系統(tǒng)導致數(shù)據(jù)重復存儲，跨系統(tǒng)數(shù)據(jù)共享難度大，業(yè)務(wù)決策分析緩慢，面對大量非結(jié)構(gòu)化數(shù)據(jù)壓力，使運營商數(shù)據(jù)體量極大，處理難度更大。

　　在當前的實際的應(yīng)用環(huán)境下，數(shù)據(jù)一般都是分布化存在的，應(yīng)用也是分布式的。而數(shù)據(jù)治理就是在你想把數(shù)據(jù)轉(zhuǎn)化，實現(xiàn)價值變現(xiàn)過程中必不可少的一部分。

　　數(shù)據(jù)治理：現(xiàn)在流行的精準營銷，其核心就是數(shù)據(jù)的治理與分類，建立好不同類別的目錄，在據(jù)此分析用戶行為數(shù)據(jù)，進行精準營銷。數(shù)據(jù)治理本身和水污染治理很像，都需要一個框架指導規(guī)范，在此之上，建立數(shù)據(jù)管理成熟度模型。

　　方案架構(gòu)圖

　　很大程度上，數(shù)據(jù)服務(wù)的好壞取決于數(shù)據(jù)治理的程度。說數(shù)據(jù)治理一定要說數(shù)據(jù)戰(zhàn)略，成立數(shù)據(jù)專項小組做數(shù)據(jù)治理規(guī)劃和措施，在確定數(shù)據(jù)生命周期，進行全程化管理。

　　具體而言就是在數(shù)據(jù)治理過程中，首先采集數(shù)據(jù)，通過歸檔日志等方式解析數(shù)據(jù)，分析出主數(shù)據(jù);然后先到ODS層，可以進行數(shù)據(jù)備份、查詢、分析，進而分擔系統(tǒng)壓力;在進行ELT二次抽取，建設(shè)標準庫，對上一層ODS里面額的數(shù)據(jù)進行處理;再在據(jù)此按照一定主題或維度，建立華為架構(gòu)融合和數(shù)據(jù)融合"兩條腿走路"的融合數(shù)據(jù)倉庫。

　　不同于傳統(tǒng)數(shù)倉，華為的融合數(shù)倉可以將原有的資源進行整合，提供更具擴展性、優(yōu)化的融合數(shù)倉方案。

　　FusionInsight LibrA：華為OLAP型數(shù)據(jù)庫FusionInsight LibrA，能夠?qū)崿F(xiàn)PB級數(shù)量處理能力，建立可靠數(shù)據(jù)倉庫、數(shù)據(jù)集市、BI系統(tǒng)、決策支持系統(tǒng)和大數(shù)據(jù)SQL結(jié)構(gòu)化數(shù)據(jù)分析解決方案。用于支撐各類數(shù)據(jù)倉庫系統(tǒng)、數(shù)據(jù)集市、BI(Business Intelligence)系統(tǒng)和決策支持系統(tǒng)。

　　LibrA采用MPP(Massive Parallel Processing)架構(gòu)，提供了標準SQL支持、數(shù)據(jù)庫存儲管理功能、組建管理和HA數(shù)據(jù)節(jié)點、API和安全管理，支持行存儲與列存儲，提供PB(Petabyte，250字節(jié))級別數(shù)據(jù)量的處理能力，滿足當下數(shù)據(jù)多形態(tài)與大體量的需求。

　　LibrA采用Share-nothing架構(gòu)，不同架構(gòu)對比

　　基于開源數(shù)據(jù)庫Postgres-XC開發(fā)的華為FusionInsight LibrA分布式并行關(guān)系型數(shù)據(jù)庫系統(tǒng)采用無共享架構(gòu)，使數(shù)據(jù)分析任務(wù)被推送到數(shù)據(jù)所在位置就近執(zhí)行，通過控制模塊協(xié)調(diào)，能夠?qū)崿F(xiàn)并行大規(guī)模數(shù)據(jù)處理，實現(xiàn)快速反應(yīng)。

　　在可靠性與安全性方面，LibrA擁有全方位安全保障機制，獨創(chuàng)的主+備+Handoff三重數(shù)據(jù)保護，協(xié)調(diào)節(jié)點多活設(shè)計，提供企業(yè)級可靠性保障。

　　古龍說"只有陽光是最公平的，不管你這個人是不是快死了，都同樣照在你身上，讓你覺得光明，溫暖。" LibrA在英文中還代表了天秤座，這個星座最大的特點便是如同陽光一樣公平公正，同時懂得因地制宜，像FusionInsight LibrA一樣彈性可靠，適應(yīng)力強。

　　面對持續(xù)激增的海量數(shù)據(jù)信息，企業(yè)開始認識到數(shù)據(jù)的價值，希望通過數(shù)據(jù)采集、挖掘、治理，完成大數(shù)據(jù)輔助決策，實現(xiàn)數(shù)據(jù)到價值的轉(zhuǎn)換。華為FusionInsight大數(shù)據(jù)平臺通過融合倉庫、LibrA等技術(shù)駕馭海量信息，幫助企業(yè)快速構(gòu)建海量數(shù)據(jù)信息處理系統(tǒng)，對企業(yè)內(nèi)部和外部的信息數(shù)據(jù)進行實時與非實時的分析挖掘，幫助企業(yè)將數(shù)據(jù)"點石成金"，賦能行業(yè)并實現(xiàn)價值，讓數(shù)據(jù)煥發(fā)智慧之光。