小麥10步帶你認(rèn)識大數(shù)據(jù)和云計(jì)算

　　麥粉們大家好啊~~小麥連續(xù)幾期分享的Smartbi行業(yè)案例，得到了大家的熱情反饋，在此小麥向大家說聲：謝謝了!你們的支持，是小麥前進(jìn)的最大動力，小麥一定再接再厲，為大家?guī)�來更多的案例、更多的干�?hellip;

　　那么，本期小麥為大家?guī)�來什么干貨�?別急，且聽小麥用深入淺出、通俗易懂的語言，分10步帶領(lǐng)大家認(rèn)識“大數(shù)據(jù)”和“云計(jì)算”這兩個(gè)當(dāng)下最流行的概念，保證大家有所收獲，以后碰到相關(guān)的概念不會兩眼一抹黑…是不是心動了呢?那就讓我們開始吧!

　　第一步：大數(shù)據(jù)

　　“大數(shù)據(jù)”這個(gè)概念是近幾年開始火起來的，現(xiàn)在可謂是無處不在了。在了解什么是大數(shù)據(jù)之前，我們先了解一下什么是傳統(tǒng)數(shù)據(jù)?

　　傳統(tǒng)數(shù)據(jù)就是IT業(yè)務(wù)系統(tǒng)里面的數(shù)據(jù)，如客戶資料、財(cái)務(wù)數(shù)據(jù)等。這些數(shù)據(jù)是結(jié)構(gòu)化的，量也不是特別大，一般只是TB級。對比傳統(tǒng)數(shù)據(jù)，還有一種叫“新數(shù)據(jù)”，是來源于社區(qū)網(wǎng)絡(luò)、互聯(lián)網(wǎng)等渠道，包括文本、圖片、音頻、視頻等非結(jié)構(gòu)化的數(shù)據(jù)。目前全世界75%以上都是非結(jié)構(gòu)化數(shù)據(jù)，而且還一直呈現(xiàn)爆炸性的增長。我們看看下面的圖就更好理解了：

　　大數(shù)據(jù)就是：結(jié)構(gòu)化的傳統(tǒng)數(shù)據(jù)+非結(jié)構(gòu)化的新數(shù)據(jù)。

　　因而，大數(shù)據(jù)還具有以下特點(diǎn)，簡稱“4V”：

　　8

　　Volume(大量)：數(shù)據(jù)體量巨大，從TB級別，躍升到PB級別;

　　Variety(多樣)：數(shù)據(jù)類型繁多，有網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等;

　　Velocity(高速)：處理速度快，可從各種類型的數(shù)據(jù)中快速獲得高價(jià)值的信息，這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同;

　　Value(價(jià)值)：只要合理利用數(shù)據(jù)并對其進(jìn)行正確、準(zhǔn)確的分析，將會帶來很高的價(jià)值回報(bào)。

　　第二步：大數(shù)據(jù)組成

　　大數(shù)據(jù)系統(tǒng)由基礎(chǔ)設(shè)施、平臺和應(yīng)用組成。對比我們平時(shí)使用的電腦，基礎(chǔ)設(shè)施就是電腦這臺硬件，平臺就是裝在里面的操作系統(tǒng)，應(yīng)用就是操作系統(tǒng)上面的各種應(yīng)用程序。

　　大數(shù)據(jù)的應(yīng)用五花八門，但總體上可分為“業(yè)務(wù)應(yīng)用”和“數(shù)據(jù)分析”兩大類。

　　前者包括ERP、CRM等業(yè)務(wù)系統(tǒng)，后者指的是各種分析應(yīng)用，包括經(jīng)營分析、價(jià)值分析、人流分析等等。分析系統(tǒng)從業(yè)務(wù)系統(tǒng)獲取源數(shù)據(jù)，經(jīng)過分析后可以反哺業(yè)務(wù)系統(tǒng)，對其進(jìn)行賦能(注智)，讓其具有智慧。說到這里，大家是不是覺得有點(diǎn)熟悉了?跟我們的BI是不是有某些聯(lián)系呢?沒錯(cuò)了，“大數(shù)據(jù)平臺”和“數(shù)據(jù)分析系統(tǒng)”加在一起就是BI的升級版啊!既然是升級版，它與傳統(tǒng)BI有什么區(qū)別呢?請看下面就知道啦。

　　* 成本更低廉

　　去IOE，硬件采用廉價(jià)的X86，軟件更多使用開源，節(jié)省成本

　　* 容災(zāi)性好

　　平臺部署在X86集群上，機(jī)器出問題可隨時(shí)切換

　　* 擴(kuò)展性好

　　X86集群可根據(jù)需要隨時(shí)進(jìn)行擴(kuò)展，提高靈活性

　　* 處理效率高

　　當(dāng)數(shù)據(jù)達(dá)到TB級別，處理效率顯著提高

　　* 處理類型多

　　可以處理結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)

　　進(jìn)一步挖掘價(jià)值

　　* 最新的

　　處理的數(shù)據(jù)量大，類型多，因而可進(jìn)一步挖掘數(shù)據(jù)的價(jià)值。

　　是不是有很多升級的地方呢?為了支持這些升級，大數(shù)據(jù)系統(tǒng)需要具備哪些功能呢?這就涉及到架構(gòu)問題了，跟著小麥繼續(xù)往下看吧。

　　第三步：大數(shù)據(jù)架構(gòu)

　　我們已經(jīng)知道大數(shù)據(jù)系統(tǒng)由基礎(chǔ)設(shè)施、平臺和應(yīng)用組成，我們現(xiàn)在進(jìn)一步細(xì)分，請看下圖：

　　基礎(chǔ)設(shè)施由通過局域網(wǎng)或互聯(lián)網(wǎng)連接的X86集群組成，為大數(shù)據(jù)平臺提供最基本的硬件支持。

　　大數(shù)據(jù)平臺由基礎(chǔ)架構(gòu)、數(shù)據(jù)處理和數(shù)據(jù)服務(wù)三部分組成：

　　基礎(chǔ)架構(gòu)負(fù)責(zé)對基礎(chǔ)設(shè)施進(jìn)行系統(tǒng)管理，為數(shù)據(jù)處理提供分布式底層服務(wù);數(shù)據(jù)處理負(fù)責(zé)數(shù)據(jù)的采集、存儲、計(jì)算;數(shù)據(jù)服務(wù)負(fù)責(zé)將處理后的數(shù)據(jù)提供給上層應(yīng)用使用。大數(shù)據(jù)應(yīng)用是面向用戶的各種應(yīng)用系統(tǒng)，包括業(yè)務(wù)應(yīng)用和數(shù)據(jù)分析。大數(shù)據(jù)系統(tǒng)的總體架構(gòu)就是這樣子，是不是跟我們平時(shí)見到的BI架構(gòu)很像呢? 通過這個(gè)表格對比我們就更清楚了：

　　下面我們將圍繞這個(gè)架構(gòu)展開說明。理解了這個(gè)架構(gòu)，小麥的目的也就達(dá)到啦。

　　第四步：虛擬化

　　基礎(chǔ)設(shè)施提供計(jì)算、存儲、網(wǎng)絡(luò)三種能力，是大數(shù)據(jù)平臺的根基。但是如何解決以下問題：

　　* 大量的機(jī)器如何管理

　　當(dāng)集群的狀態(tài)改變，也即增加或者減少一些機(jī)器的時(shí)候，難道要去修改平臺的配置嗎?

　　* 如何充分利用系統(tǒng)資源

　　當(dāng)集群的能力只使用了一部分，而這個(gè)時(shí)候需要一部新的機(jī)器用來部署其它系統(tǒng)，難道是從集群上拆下一部機(jī)器來提供嗎?

　　* 如何解決彈性問題

　　當(dāng)高峰期的時(shí)候，系統(tǒng)可能需要20部機(jī)器，平時(shí)只需要10部。那么我們是提供多少部合適呢?如果提供20部，平時(shí)空閑下來的10部如何處理?

　　這些問題有一種解決方法：虛擬化。就是把集群作為一個(gè)整體進(jìn)行管理，可以根據(jù)需要從某些機(jī)器中調(diào)配相關(guān)資源，快速組成一部“新的機(jī)器”。例如可以用機(jī)器A的CPU1/2性能、1/3的內(nèi)存，和機(jī)器B的1/5硬盤組成。

　　當(dāng)集群的狀態(tài)改變時(shí)，我們只需要修改虛擬化軟件的配置，減少對平臺的影響。當(dāng)集群有多余的資源時(shí)，可以虛擬出一些新的機(jī)器給其它系統(tǒng)使用，充分利用了系統(tǒng)資源。

　　虛擬化的主流商業(yè)軟件是Vmware，開源的軟件有Xen、KVM等。

　　第五步：云化

　　虛擬化雖然帶來資源配置的靈活性，但也有明顯的缺陷。配置一部“新的機(jī)器”需要人工操作，配置非常麻煩，最多只能管理幾百臺電腦的規(guī)模，作為企業(yè)內(nèi)部的應(yīng)用是可以的。但對于提供公眾服務(wù)的互聯(lián)網(wǎng)公司來說，需要上萬部電腦的規(guī)模，通過虛擬化的方式是行不通的。所以又有了新技術(shù)的出現(xiàn)：云化，也即把基礎(chǔ)設(shè)施作為一項(xiàng)服務(wù)提供。請看下圖：

　　最早是亞馬遜基于自身電商業(yè)務(wù)的發(fā)展，傳統(tǒng)的IT架構(gòu)已經(jīng)滿足不了需求，所以基于開源的虛擬化軟件開發(fā)了AWS(Amazon Web Service)，可以支持超大規(guī)模的集群應(yīng)用。在解決自己的業(yè)務(wù)需求后，亞馬遜發(fā)現(xiàn)可以把這項(xiàng)技術(shù)作為一項(xiàng)單獨(dú)的業(yè)務(wù)推向市場，這就是現(xiàn)在穩(wěn)居全球市場頭把交椅的的亞馬遜云服務(wù)。同樣的背景，阿里巴巴也基于Xen推出了市場化的阿里云，現(xiàn)成已經(jīng)成為國內(nèi)云市場的老大。由此我們也知道為什么云服務(wù)做得最早、最好的都是互聯(lián)網(wǎng)公司了吧?因?yàn)樗麄冇凶陨淼臉I(yè)務(wù)在驅(qū)動。規(guī)模上萬部的機(jī)器，以資源池(數(shù)據(jù)中心)的形式分布在不同的地域上(很多建設(shè)在廣西、貴州、內(nèi)蒙等欠發(fā)達(dá)省份，電費(fèi)、人工比較便宜，又可以促進(jìn)當(dāng)?shù)鼐蜆I(yè))，通過調(diào)度中心進(jìn)行統(tǒng)一管理，這就是公有云平臺。

　　在亞馬遜開展商業(yè)化云服務(wù)的同時(shí)，美國另一家叫Rackspace的公司也推出OpenStack在跟亞馬遜競爭。無奈競爭不過人家，最后決定和NASA(美國國家航空航天局)合作，把OpenStack開源，一起成立了開源云平臺。后來各家傳統(tǒng)的IT巨頭紛紛加入這個(gè)開源的社區(qū)，經(jīng)過二次開發(fā)和包裝后推出了自己的私有云平臺，和自家的硬件或解決方案打包一起銷售。

　　不管是公有云，還是私有云，都是實(shí)現(xiàn)了基礎(chǔ)設(shè)施的時(shí)間靈活性和空間靈活性，把基礎(chǔ)設(shè)施作為一項(xiàng)服務(wù)提供，也即：Infranstracture as a Service(IaaS)

　　第六步：Hadoop

　　大數(shù)據(jù)平臺的基礎(chǔ)架構(gòu)采用Hadoop，包括HDFS和MapReduce兩部分：

　　* HDFS在集群上實(shí)現(xiàn)分布式文件系統(tǒng)，負(fù)責(zé)對文件的操作。(類似windows下的文件管理系統(tǒng)NTFS)

　　* MapReduce在集群上實(shí)現(xiàn)分布式計(jì)算和任務(wù)處理，負(fù)責(zé)將作業(yè)分解成多個(gè)任務(wù)，分派到多部機(jī)器一起執(zhí)行，同時(shí)監(jiān)控執(zhí)行情況，保證每個(gè)任務(wù)都能順利執(zhí)行，所有任務(wù)結(jié)束后再將結(jié)果匯總。(類似多個(gè)人一起數(shù)圖書館的書，每個(gè)人算一個(gè)書架(Map)，最后把所有結(jié)果加在一起(Reduce))

　　那么，如何把Hadoop安裝到集群下面那么多機(jī)器上呢?每部機(jī)器的配置、操作系統(tǒng)都可能不一樣。

　　解決辦法就是采用“容器“技術(shù)：先將Hadoop打包到一個(gè)封閉的容器中，再統(tǒng)一發(fā)布到各部機(jī)器上。容器能夠根據(jù)機(jī)器實(shí)際環(huán)境做出相應(yīng)的調(diào)整，保證Hadoop的順利安裝。(類似用統(tǒng)一規(guī)格的集裝箱來運(yùn)送貨物)

　　容器的主流技術(shù)是開源的Docker。不僅僅是Hadoop可以通過容器進(jìn)行安裝，所有的應(yīng)用都可以使用。

　　現(xiàn)在已經(jīng)在集群下每部機(jī)器安裝了Hadoop，那么Hadoop是如何運(yùn)行的呢?請看下圖：

　　Hadoop把集群下其中一個(gè)節(jié)點(diǎn)拿來當(dāng)Master，其它節(jié)點(diǎn)當(dāng)Slave。對于HDFS來說，Master就是NameNode，負(fù)責(zé)管理文件系統(tǒng)的命名空間和控制客戶端訪問;Slave就是DataNode，負(fù)責(zé)管理存儲的數(shù)據(jù)。對于MapReduce來說，Master就是JobTracker，負(fù)責(zé)調(diào)度構(gòu)成一個(gè)作業(yè)的所有任務(wù)，這些任務(wù)分布在不同的TaskTracker上;Slave就是TaskTracker，負(fù)責(zé)執(zhí)行由JobTracker指派的任務(wù)。

　　Hadoop已經(jīng)衍生出很多不同的升級版本，目前應(yīng)用最成熟、最廣泛的是Spark。

　　第七步：數(shù)據(jù)處理

　　數(shù)據(jù)處理是對數(shù)據(jù)的采集、存儲和計(jì)算。因?yàn)榇髷?shù)據(jù)有各種各樣的應(yīng)用，不同的應(yīng)用，數(shù)據(jù)的種類、結(jié)構(gòu)，數(shù)據(jù)的實(shí)時(shí)性要求都可能不同。所以要根據(jù)實(shí)際情況進(jìn)行數(shù)據(jù)庫選型，這是大數(shù)據(jù)平臺設(shè)計(jì)的關(guān)鍵，將影響到整個(gè)平臺的整體性能。不同的數(shù)據(jù)庫類型可以進(jìn)行混搭，同時(shí)采用不同的ETL技術(shù)。

　　目前常見的各種數(shù)據(jù)庫類型如下：

　　* 傳統(tǒng)數(shù)據(jù)庫

　　主流數(shù)據(jù)庫有Oracle、DB2、MySQL，主要應(yīng)用于小規(guī)模應(yīng)用系統(tǒng)，或者為了利用已有的資源，同時(shí)降低系統(tǒng)升級的風(fēng)險(xiǎn)，采用的ETL技術(shù)是Datastage、Kettle等。

　　* 內(nèi)存數(shù)據(jù)庫

　　主流數(shù)據(jù)庫有SQLite、HANA，主要應(yīng)用于對實(shí)時(shí)性要求高，需要實(shí)時(shí)處理的數(shù)據(jù)，如實(shí)時(shí)指標(biāo)展示，精準(zhǔn)營銷等，采用的ETL技術(shù)是流處理技術(shù)kafka。

　　* MPP數(shù)據(jù)庫

　　MPP是指大規(guī)模并行處理，MPP數(shù)據(jù)庫支持X86集群，常見的有Greanplum、Vertica等，主要應(yīng)用于大規(guī)模結(jié)構(gòu)化數(shù)據(jù)分析，如信令分析、DPI分析，一般采用Kettle作為ETL工具。

　　* NoSQL數(shù)據(jù)庫

　　NoSQL是指半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)庫，主流的數(shù)據(jù)庫有MongoDB、HBase和HDFS等，HBase用來存儲半結(jié)構(gòu)化或結(jié)構(gòu)很稀疏的數(shù)據(jù)，HDFS用來存儲非結(jié)構(gòu)化數(shù)據(jù)。HBase和HDFS都不支持SQL，需要使用Hive作為SQL接口執(zhí)行一些簡單的查詢操作。NoSQL數(shù)據(jù)庫基于Hadoop平臺，主要應(yīng)用于大規(guī)模半/非結(jié)構(gòu)化離線分析，例如互聯(lián)網(wǎng)數(shù)據(jù)分析、文檔分析等，一般采用網(wǎng)絡(luò)爬蟲技術(shù)進(jìn)行ETL。

　　第八步：數(shù)據(jù)服務(wù)

　　經(jīng)過處理后的數(shù)據(jù)，一般不提供給上層應(yīng)用直接用SQL訪問，這一點(diǎn)與數(shù)據(jù)倉庫不同。數(shù)據(jù)倉庫把采集過來的數(shù)據(jù)經(jīng)過處理后存儲在匯總層，上層應(yīng)用直接用SQL訪問。但大數(shù)據(jù)平臺把處理后的數(shù)據(jù)進(jìn)行封裝和分類，為上層應(yīng)用提供可靈活調(diào)用的數(shù)據(jù)服務(wù)接口，可以保證數(shù)據(jù)訪問的規(guī)范性和安全性。接口的承載方式有：文件、消息、API、SDK、界面集成，其流程如下：

　　* 數(shù)據(jù)格式化

　　對原始數(shù)據(jù)進(jìn)行格式化，過濾字段并進(jìn)行排序。

　　* 數(shù)據(jù)封裝

　　對格式化后的數(shù)據(jù)及其元數(shù)據(jù)進(jìn)行封裝，以實(shí)現(xiàn)對外一致、標(biāo)準(zhǔn)化的數(shù)據(jù)訪問接口。

　　* 數(shù)據(jù)分類

　　根據(jù)封裝后的數(shù)據(jù)，按主題進(jìn)行接口分類。

　　* 數(shù)據(jù)服務(wù)

　　上層應(yīng)用可通過數(shù)據(jù)服務(wù)接口調(diào)用數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)的服務(wù)功能。

　　數(shù)據(jù)服務(wù)接口屏蔽掉大數(shù)據(jù)平臺的所有細(xì)節(jié)，把平臺作為一項(xiàng)服務(wù)提供給應(yīng)用使用，這種方式稱之為Platform as a service(PaaS)。

　　在公有云提供商中，一般都會有對應(yīng)的PaaS服務(wù)提供，如阿里云的EDAS(企業(yè)級分布式應(yīng)用服務(wù))。

　　私有云是企業(yè)自建，對數(shù)據(jù)訪問的控制沒那么嚴(yán)格。為了開發(fā)效率，應(yīng)用通常可以通過SQL直接訪問數(shù)據(jù)。

　　第九步：大數(shù)據(jù)應(yīng)用

　　前面小麥已經(jīng)為大家介紹了基礎(chǔ)設(shè)施和大數(shù)據(jù)平臺，也介紹了私有云和公有云的區(qū)別。對于大數(shù)據(jù)應(yīng)用來說，私有云上的應(yīng)用，就是我們平時(shí)說的企業(yè)信息化系統(tǒng)，只不過這些系統(tǒng)是采用大數(shù)據(jù)的架構(gòu)。而公有云上的應(yīng)用，指的是我們平時(shí)使用的互聯(lián)網(wǎng)服務(wù)，如微信、微博、支付寶等。但是，隨著云服務(wù)市場的發(fā)展，越來越多的傳統(tǒng)IT廠商也通過公有云為公眾提供服務(wù)，比如我們熟悉的 MicrosoftOffice 365。這種把軟件作為服務(wù)提供的方式稱之為：Software as a Service(SaaS)。

　　在國際市場，比較常見的企業(yè)級SaaS服務(wù)有客戶管理服務(wù)Saleforce、團(tuán)隊(duì)協(xié)同服務(wù)Google Apps等等。國內(nèi)市場的金蝶、微軟、Oracle也都提供多種SaaS產(chǎn)品和服務(wù)。我們可以看一下IDC對2017-2022年中國公有云整體市場的預(yù)測(單位：百萬美元)：

　　從上表可以看出，整個(gè)云服務(wù)市場的年復(fù)合增長率達(dá)到了41%，其中PaaS服務(wù)增長最快，達(dá)到了55.7%。中國企業(yè)級SaaS市場份額全球第二，未來五年依舊呈現(xiàn)快速增長態(tài)勢，年復(fù)合增長率達(dá)到35.7%。到了2022年，整個(gè)SaaS市場規(guī)模達(dá)到400億人民幣。

　　第十步：云計(jì)算

　　大家有沒有發(fā)現(xiàn)，前面說了那么久，還沒提到云計(jì)算呢?其實(shí)前面都是鋪墊，現(xiàn)在就要給大家介紹云計(jì)算了。云計(jì)算就是一種IT架構(gòu)，是一種IT資源的交付和使用模式。前面介紹的IaaS、PaaS、SaaS就是云計(jì)算架構(gòu)下對不同資源的交付模式，分別將基礎(chǔ)設(shè)施、平臺、軟件以服務(wù)的形式提供給用戶使用。

　　到目前為止，小麥已經(jīng)把相關(guān)的概念都介紹給大家了。我們把前面的大數(shù)據(jù)架構(gòu)圖進(jìn)一步細(xì)化，大家是否看得懂了呢?

　　如果大家看懂了，那小麥本次的介紹也算功德圓滿了。如果還沒看懂，請?zhí)�到第一步再看一遍，哈哈。。�！?/p>