小麥10步帶你認(rèn)識(shí)大數(shù)據(jù)和云計(jì)算

2019年03月04日 10:22:16 來(lái)源：中文科技資訊

　　麥粉們大家好啊~~小麥連續(xù)幾期分享的Smartbi行業(yè)案例，得到了大家的熱情反饋，在此小麥向大家說(shuō)聲：謝謝了!你們的支持，是小麥前進(jìn)的最大動(dòng)力，小麥一定再接再厲，為大家?guī)?lái)更多的案例、更多的干貨…

　　那么，本期小麥為大家?guī)?lái)什么干貨呢?別急，且聽(tīng)小麥用深入淺出、通俗易懂的語(yǔ)言，分10步帶領(lǐng)大家認(rèn)識(shí)“大數(shù)據(jù)”和“云計(jì)算”這兩個(gè)當(dāng)下最流行的概念，保證大家有所收獲，以后碰到相關(guān)的概念不會(huì)兩眼一抹黑…是不是心動(dòng)了呢?那就讓我們開(kāi)始吧!

　　第一步：大數(shù)據(jù)

　　“大數(shù)據(jù)”這個(gè)概念是近幾年開(kāi)始火起來(lái)的，現(xiàn)在可謂是無(wú)處不在了。在了解什么是大數(shù)據(jù)之前，我們先了解一下什么是傳統(tǒng)數(shù)據(jù)?

　　傳統(tǒng)數(shù)據(jù)就是IT業(yè)務(wù)系統(tǒng)里面的數(shù)據(jù)，如客戶資料、財(cái)務(wù)數(shù)據(jù)等。這些數(shù)據(jù)是結(jié)構(gòu)化的，量也不是特別大，一般只是TB級(jí)。對(duì)比傳統(tǒng)數(shù)據(jù)，還有一種叫“新數(shù)據(jù)”，是來(lái)源于社區(qū)網(wǎng)絡(luò)、互聯(lián)網(wǎng)等渠道，包括文本、圖片、音頻、視頻等非結(jié)構(gòu)化的數(shù)據(jù)。目前全世界75%以上都是非結(jié)構(gòu)化數(shù)據(jù)，而且還一直呈現(xiàn)爆炸性的增長(zhǎng)。我們看看下面的圖就更好理解了：

　　大數(shù)據(jù)就是：結(jié)構(gòu)化的傳統(tǒng)數(shù)據(jù)+非結(jié)構(gòu)化的新數(shù)據(jù)。

　　因而，大數(shù)據(jù)還具有以下特點(diǎn)，簡(jiǎn)稱“4V”：

　　Volume(大量)：數(shù)據(jù)體量巨大，從TB級(jí)別，躍升到PB級(jí)別;

　　Variety(多樣)：數(shù)據(jù)類型繁多，有網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等;

　　Velocity(高速)：處理速度快，可從各種類型的數(shù)據(jù)中快速獲得高價(jià)值的信息，這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同;

　　Value(價(jià)值)：只要合理利用數(shù)據(jù)并對(duì)其進(jìn)行正確、準(zhǔn)確的分析，將會(huì)帶來(lái)很高的價(jià)值回報(bào)。

　　第二步：大數(shù)據(jù)組成

　　大數(shù)據(jù)系統(tǒng)由基礎(chǔ)設(shè)施、平臺(tái)和應(yīng)用組成。對(duì)比我們平時(shí)使用的電腦，基礎(chǔ)設(shè)施就是電腦這臺(tái)硬件，平臺(tái)就是裝在里面的操作系統(tǒng)，應(yīng)用就是操作系統(tǒng)上面的各種應(yīng)用程序。

　　大數(shù)據(jù)的應(yīng)用五花八門(mén)，但總體上可分為“業(yè)務(wù)應(yīng)用”和“數(shù)據(jù)分析”兩大類。

　　前者包括ERP、CRM等業(yè)務(wù)系統(tǒng)，后者指的是各種分析應(yīng)用，包括經(jīng)營(yíng)分析、價(jià)值分析、人流分析等等。分析系統(tǒng)從業(yè)務(wù)系統(tǒng)獲取源數(shù)據(jù)，經(jīng)過(guò)分析后可以反哺業(yè)務(wù)系統(tǒng)，對(duì)其進(jìn)行賦能(注智)，讓其具有智慧。說(shuō)到這里，大家是不是覺(jué)得有點(diǎn)熟悉了?跟我們的BI是不是有某些聯(lián)系呢?沒(méi)錯(cuò)了，“大數(shù)據(jù)平臺(tái)”和“數(shù)據(jù)分析系統(tǒng)”加在一起就是BI的升級(jí)版啊!既然是升級(jí)版，它與傳統(tǒng)BI有什么區(qū)別呢?請(qǐng)看下面就知道啦。

　　* 成本更低廉

　　去IOE，硬件采用廉價(jià)的X86，軟件更多使用開(kāi)源，節(jié)省成本

　　* 容災(zāi)性好

　　平臺(tái)部署在X86集群上，機(jī)器出問(wèn)題可隨時(shí)切換

　　* 擴(kuò)展性好

　　X86集群可根據(jù)需要隨時(shí)進(jìn)行擴(kuò)展，提高靈活性

　　* 處理效率高

　　當(dāng)數(shù)據(jù)達(dá)到TB級(jí)別，處理效率顯著提高

　　* 處理類型多

　　可以處理結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)

　　進(jìn)一步挖掘價(jià)值

　　* 最新的

　　處理的數(shù)據(jù)量大，類型多，因而可進(jìn)一步挖掘數(shù)據(jù)的價(jià)值。

　　是不是有很多升級(jí)的地方呢?為了支持這些升級(jí)，大數(shù)據(jù)系統(tǒng)需要具備哪些功能呢?這就涉及到架構(gòu)問(wèn)題了，跟著小麥繼續(xù)往下看吧。

　　第三步：大數(shù)據(jù)架構(gòu)

　　我們已經(jīng)知道大數(shù)據(jù)系統(tǒng)由基礎(chǔ)設(shè)施、平臺(tái)和應(yīng)用組成，我們現(xiàn)在進(jìn)一步細(xì)分，請(qǐng)看下圖：

　　基礎(chǔ)設(shè)施由通過(guò)局域網(wǎng)或互聯(lián)網(wǎng)連接的X86集群組成，為大數(shù)據(jù)平臺(tái)提供最基本的硬件支持。

　　大數(shù)據(jù)平臺(tái)由基礎(chǔ)架構(gòu)、數(shù)據(jù)處理和數(shù)據(jù)服務(wù)三部分組成：

　　基礎(chǔ)架構(gòu)負(fù)責(zé)對(duì)基礎(chǔ)設(shè)施進(jìn)行系統(tǒng)管理，為數(shù)據(jù)處理提供分布式底層服務(wù);數(shù)據(jù)處理負(fù)責(zé)數(shù)據(jù)的采集、存儲(chǔ)、計(jì)算;數(shù)據(jù)服務(wù)負(fù)責(zé)將處理后的數(shù)據(jù)提供給上層應(yīng)用使用。大數(shù)據(jù)應(yīng)用是面向用戶的各種應(yīng)用系統(tǒng)，包括業(yè)務(wù)應(yīng)用和數(shù)據(jù)分析。大數(shù)據(jù)系統(tǒng)的總體架構(gòu)就是這樣子，是不是跟我們平時(shí)見(jiàn)到的BI架構(gòu)很像呢? 通過(guò)這個(gè)表格對(duì)比我們就更清楚了：

　　下面我們將圍繞這個(gè)架構(gòu)展開(kāi)說(shuō)明。理解了這個(gè)架構(gòu)，小麥的目的也就達(dá)到啦。

　　第四步：虛擬化

　　基礎(chǔ)設(shè)施提供計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)三種能力，是大數(shù)據(jù)平臺(tái)的根基。但是如何解決以下問(wèn)題：

　　* 大量的機(jī)器如何管理

　　當(dāng)集群的狀態(tài)改變，也即增加或者減少一些機(jī)器的時(shí)候，難道要去修改平臺(tái)的配置嗎?

　　* 如何充分利用系統(tǒng)資源

　　當(dāng)集群的能力只使用了一部分，而這個(gè)時(shí)候需要一部新的機(jī)器用來(lái)部署其它系統(tǒng)，難道是從集群上拆下一部機(jī)器來(lái)提供嗎?

　　* 如何解決彈性問(wèn)題

　　當(dāng)高峰期的時(shí)候，系統(tǒng)可能需要20部機(jī)器，平時(shí)只需要10部。那么我們是提供多少部合適呢?如果提供20部，平時(shí)空閑下來(lái)的10部如何處理?

　　這些問(wèn)題有一種解決方法：虛擬化。就是把集群作為一個(gè)整體進(jìn)行管理，可以根據(jù)需要從某些機(jī)器中調(diào)配相關(guān)資源，快速組成一部“新的機(jī)器”。例如可以用機(jī)器A的CPU1/2性能、1/3的內(nèi)存，和機(jī)器B的1/5硬盤(pán)組成。

　　當(dāng)集群的狀態(tài)改變時(shí)，我們只需要修改虛擬化軟件的配置，減少對(duì)平臺(tái)的影響。當(dāng)集群有多余的資源時(shí)，可以虛擬出一些新的機(jī)器給其它系統(tǒng)使用，充分利用了系統(tǒng)資源。

　　虛擬化的主流商業(yè)軟件是Vmware，開(kāi)源的軟件有Xen、KVM等。

　　第五步：云化

　　虛擬化雖然帶來(lái)資源配置的靈活性，但也有明顯的缺陷。配置一部“新的機(jī)器”需要人工操作，配置非常麻煩，最多只能管理幾百臺(tái)電腦的規(guī)模，作為企業(yè)內(nèi)部的應(yīng)用是可以的。但對(duì)于提供公眾服務(wù)的互聯(lián)網(wǎng)公司來(lái)說(shuō)，需要上萬(wàn)部電腦的規(guī)模，通過(guò)虛擬化的方式是行不通的。所以又有了新技術(shù)的出現(xiàn)：云化，也即把基礎(chǔ)設(shè)施作為一項(xiàng)服務(wù)提供。請(qǐng)看下圖：

　　最早是亞馬遜基于自身電商業(yè)務(wù)的發(fā)展，傳統(tǒng)的IT架構(gòu)已經(jīng)滿足不了需求，所以基于開(kāi)源的虛擬化軟件開(kāi)發(fā)了AWS(Amazon Web Service)，可以支持超大規(guī)模的集群應(yīng)用。在解決自己的業(yè)務(wù)需求后，亞馬遜發(fā)現(xiàn)可以把這項(xiàng)技術(shù)作為一項(xiàng)單獨(dú)的業(yè)務(wù)推向市場(chǎng)，這就是現(xiàn)在穩(wěn)居全球市場(chǎng)頭把交椅的的亞馬遜云服務(wù)。同樣的背景，阿里巴巴也基于Xen推出了市場(chǎng)化的阿里云，現(xiàn)成已經(jīng)成為國(guó)內(nèi)云市場(chǎng)的老大。由此我們也知道為什么云服務(wù)做得最早、最好的都是互聯(lián)網(wǎng)公司了吧?因?yàn)樗麄冇凶陨淼臉I(yè)務(wù)在驅(qū)動(dòng)。規(guī)模上萬(wàn)部的機(jī)器，以資源池(數(shù)據(jù)中心)的形式分布在不同的地域上(很多建設(shè)在廣西、貴州、內(nèi)蒙等欠發(fā)達(dá)省份，電費(fèi)、人工比較便宜，又可以促進(jìn)當(dāng)?shù)鼐蜆I(yè))，通過(guò)調(diào)度中心進(jìn)行統(tǒng)一管理，這就是公有云平臺(tái)。

　　在亞馬遜開(kāi)展商業(yè)化云服務(wù)的同時(shí)，美國(guó)另一家叫Rackspace的公司也推出OpenStack在跟亞馬遜競(jìng)爭(zhēng)。無(wú)奈競(jìng)爭(zhēng)不過(guò)人家，最后決定和NASA(美國(guó)國(guó)家航空航天局)合作，把OpenStack開(kāi)源，一起成立了開(kāi)源云平臺(tái)。后來(lái)各家傳統(tǒng)的IT巨頭紛紛加入這個(gè)開(kāi)源的社區(qū)，經(jīng)過(guò)二次開(kāi)發(fā)和包裝后推出了自己的私有云平臺(tái)，和自家的硬件或解決方案打包一起銷售。

　　不管是公有云，還是私有云，都是實(shí)現(xiàn)了基礎(chǔ)設(shè)施的時(shí)間靈活性和空間靈活性，把基礎(chǔ)設(shè)施作為一項(xiàng)服務(wù)提供，也即：Infranstracture as a Service(IaaS)

　　第六步：Hadoop

　　大數(shù)據(jù)平臺(tái)的基礎(chǔ)架構(gòu)采用Hadoop，包括HDFS和MapReduce兩部分：

　　* HDFS在集群上實(shí)現(xiàn)分布式文件系統(tǒng)，負(fù)責(zé)對(duì)文件的操作。(類似windows下的文件管理系統(tǒng)NTFS)

　　* MapReduce在集群上實(shí)現(xiàn)分布式計(jì)算和任務(wù)處理，負(fù)責(zé)將作業(yè)分解成多個(gè)任務(wù)，分派到多部機(jī)器一起執(zhí)行，同時(shí)監(jiān)控執(zhí)行情況，保證每個(gè)任務(wù)都能順利執(zhí)行，所有任務(wù)結(jié)束后再將結(jié)果匯總。(類似多個(gè)人一起數(shù)圖書(shū)館的書(shū)，每個(gè)人算一個(gè)書(shū)架(Map)，最后把所有結(jié)果加在一起(Reduce))

　　那么，如何把Hadoop安裝到集群下面那么多機(jī)器上呢?每部機(jī)器的配置、操作系統(tǒng)都可能不一樣。

　　解決辦法就是采用“容器“技術(shù)：先將Hadoop打包到一個(gè)封閉的容器中，再統(tǒng)一發(fā)布到各部機(jī)器上。容器能夠根據(jù)機(jī)器實(shí)際環(huán)境做出相應(yīng)的調(diào)整，保證Hadoop的順利安裝。(類似用統(tǒng)一規(guī)格的集裝箱來(lái)運(yùn)送貨物)

　　容器的主流技術(shù)是開(kāi)源的Docker。不僅僅是Hadoop可以通過(guò)容器進(jìn)行安裝，所有的應(yīng)用都可以使用。

　　現(xiàn)在已經(jīng)在集群下每部機(jī)器安裝了Hadoop，那么Hadoop是如何運(yùn)行的呢?請(qǐng)看下圖：

　　Hadoop把集群下其中一個(gè)節(jié)點(diǎn)拿來(lái)當(dāng)Master，其它節(jié)點(diǎn)當(dāng)Slave。對(duì)于HDFS來(lái)說(shuō)，Master就是NameNode，負(fù)責(zé)管理文件系統(tǒng)的命名空間和控制客戶端訪問(wèn);Slave就是DataNode，負(fù)責(zé)管理存儲(chǔ)的數(shù)據(jù)。對(duì)于MapReduce來(lái)說(shuō)，Master就是JobTracker，負(fù)責(zé)調(diào)度構(gòu)成一個(gè)作業(yè)的所有任務(wù)，這些任務(wù)分布在不同的TaskTracker上;Slave就是TaskTracker，負(fù)責(zé)執(zhí)行由JobTracker指派的任務(wù)。

　　Hadoop已經(jīng)衍生出很多不同的升級(jí)版本，目前應(yīng)用最成熟、最廣泛的是Spark。

　　第七步：數(shù)據(jù)處理

　　數(shù)據(jù)處理是對(duì)數(shù)據(jù)的采集、存儲(chǔ)和計(jì)算。因?yàn)榇髷?shù)據(jù)有各種各樣的應(yīng)用，不同的應(yīng)用，數(shù)據(jù)的種類、結(jié)構(gòu)，數(shù)據(jù)的實(shí)時(shí)性要求都可能不同。所以要根據(jù)實(shí)際情況進(jìn)行數(shù)據(jù)庫(kù)選型，這是大數(shù)據(jù)平臺(tái)設(shè)計(jì)的關(guān)鍵，將影響到整個(gè)平臺(tái)的整體性能。不同的數(shù)據(jù)庫(kù)類型可以進(jìn)行混搭，同時(shí)采用不同的ETL技術(shù)。

　　目前常見(jiàn)的各種數(shù)據(jù)庫(kù)類型如下：

　　* 傳統(tǒng)數(shù)據(jù)庫(kù)

　　主流數(shù)據(jù)庫(kù)有Oracle、DB2、MySQL，主要應(yīng)用于小規(guī)模應(yīng)用系統(tǒng)，或者為了利用已有的資源，同時(shí)降低系統(tǒng)升級(jí)的風(fēng)險(xiǎn)，采用的ETL技術(shù)是Datastage、Kettle等。

　　* 內(nèi)存數(shù)據(jù)庫(kù)

　　主流數(shù)據(jù)庫(kù)有SQLite、HANA，主要應(yīng)用于對(duì)實(shí)時(shí)性要求高，需要實(shí)時(shí)處理的數(shù)據(jù)，如實(shí)時(shí)指標(biāo)展示，精準(zhǔn)營(yíng)銷等，采用的ETL技術(shù)是流處理技術(shù)kafka。

　　* MPP數(shù)據(jù)庫(kù)

　　MPP是指大規(guī)模并行處理，MPP數(shù)據(jù)庫(kù)支持X86集群，常見(jiàn)的有Greanplum、Vertica等，主要應(yīng)用于大規(guī)模結(jié)構(gòu)化數(shù)據(jù)分析，如信令分析、DPI分析，一般采用Kettle作為ETL工具。

　　* NoSQL數(shù)據(jù)庫(kù)

　　NoSQL是指半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)庫(kù)，主流的數(shù)據(jù)庫(kù)有MongoDB、HBase和HDFS等，HBase用來(lái)存儲(chǔ)半結(jié)構(gòu)化或結(jié)構(gòu)很稀疏的數(shù)據(jù)，HDFS用來(lái)存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)。HBase和HDFS都不支持SQL，需要使用Hive作為SQL接口執(zhí)行一些簡(jiǎn)單的查詢操作。NoSQL數(shù)據(jù)庫(kù)基于Hadoop平臺(tái)，主要應(yīng)用于大規(guī)模半/非結(jié)構(gòu)化離線分析，例如互聯(lián)網(wǎng)數(shù)據(jù)分析、文檔分析等，一般采用網(wǎng)絡(luò)爬蟲(chóng)技術(shù)進(jìn)行ETL。

　　第八步：數(shù)據(jù)服務(wù)

　　經(jīng)過(guò)處理后的數(shù)據(jù)，一般不提供給上層應(yīng)用直接用SQL訪問(wèn)，這一點(diǎn)與數(shù)據(jù)倉(cāng)庫(kù)不同。數(shù)據(jù)倉(cāng)庫(kù)把采集過(guò)來(lái)的數(shù)據(jù)經(jīng)過(guò)處理后存儲(chǔ)在匯總層，上層應(yīng)用直接用SQL訪問(wèn)。但大數(shù)據(jù)平臺(tái)把處理后的數(shù)據(jù)進(jìn)行封裝和分類，為上層應(yīng)用提供可靈活調(diào)用的數(shù)據(jù)服務(wù)接口，可以保證數(shù)據(jù)訪問(wèn)的規(guī)范性和安全性。接口的承載方式有：文件、消息、API、SDK、界面集成，其流程如下：

　　* 數(shù)據(jù)格式化

　　對(duì)原始數(shù)據(jù)進(jìn)行格式化，過(guò)濾字段并進(jìn)行排序。

　　* 數(shù)據(jù)封裝

　　對(duì)格式化后的數(shù)據(jù)及其元數(shù)據(jù)進(jìn)行封裝，以實(shí)現(xiàn)對(duì)外一致、標(biāo)準(zhǔn)化的數(shù)據(jù)訪問(wèn)接口。

　　* 數(shù)據(jù)分類

　　根據(jù)封裝后的數(shù)據(jù)，按主題進(jìn)行接口分類。

　　* 數(shù)據(jù)服務(wù)

　　上層應(yīng)用可通過(guò)數(shù)據(jù)服務(wù)接口調(diào)用數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)的服務(wù)功能。

　　數(shù)據(jù)服務(wù)接口屏蔽掉大數(shù)據(jù)平臺(tái)的所有細(xì)節(jié)，把平臺(tái)作為一項(xiàng)服務(wù)提供給應(yīng)用使用，這種方式稱之為Platform as a service(PaaS)。

　　在公有云提供商中，一般都會(huì)有對(duì)應(yīng)的PaaS服務(wù)提供，如阿里云的EDAS(企業(yè)級(jí)分布式應(yīng)用服務(wù))。

　　私有云是企業(yè)自建，對(duì)數(shù)據(jù)訪問(wèn)的控制沒(méi)那么嚴(yán)格。為了開(kāi)發(fā)效率，應(yīng)用通�？梢酝ㄟ^(guò)SQL直接訪問(wèn)數(shù)據(jù)。

　　第九步：大數(shù)據(jù)應(yīng)用

　　前面小麥已經(jīng)為大家介紹了基礎(chǔ)設(shè)施和大數(shù)據(jù)平臺(tái)，也介紹了私有云和公有云的區(qū)別。對(duì)于大數(shù)據(jù)應(yīng)用來(lái)說(shuō)，私有云上的應(yīng)用，就是我們平時(shí)說(shuō)的企業(yè)信息化系統(tǒng)，只不過(guò)這些系統(tǒng)是采用大數(shù)據(jù)的架構(gòu)。而公有云上的應(yīng)用，指的是我們平時(shí)使用的互聯(lián)網(wǎng)服務(wù)，如微信、微博、支付寶等。但是，隨著云服務(wù)市場(chǎng)的發(fā)展，越來(lái)越多的傳統(tǒng)IT廠商也通過(guò)公有云為公眾提供服務(wù)，比如我們熟悉的 MicrosoftOffice 365。這種把軟件作為服務(wù)提供的方式稱之為：Software as a Service(SaaS)。

　　在國(guó)際市場(chǎng)，比較常見(jiàn)的企業(yè)級(jí)SaaS服務(wù)有客戶管理服務(wù)Saleforce、團(tuán)隊(duì)協(xié)同服務(wù)Google Apps等等。國(guó)內(nèi)市場(chǎng)的金蝶、微軟、Oracle也都提供多種SaaS產(chǎn)品和服務(wù)。我們可以看一下IDC對(duì)2017-2022年中國(guó)公有云整體市場(chǎng)的預(yù)測(cè)(單位：百萬(wàn)美元)：

　　從上表可以看出，整個(gè)云服務(wù)市場(chǎng)的年復(fù)合增長(zhǎng)率達(dá)到了41%，其中PaaS服務(wù)增長(zhǎng)最快，達(dá)到了55.7%。中國(guó)企業(yè)級(jí)SaaS市場(chǎng)份額全球第二，未來(lái)五年依舊呈現(xiàn)快速增長(zhǎng)態(tài)勢(shì)，年復(fù)合增長(zhǎng)率達(dá)到35.7%。到了2022年，整個(gè)SaaS市場(chǎng)規(guī)模達(dá)到400億人民幣。

　　第十步：云計(jì)算

　　大家有沒(méi)有發(fā)現(xiàn)，前面說(shuō)了那么久，還沒(méi)提到云計(jì)算呢?其實(shí)前面都是鋪墊，現(xiàn)在就要給大家介紹云計(jì)算了。云計(jì)算就是一種IT架構(gòu)，是一種IT資源的交付和使用模式。前面介紹的IaaS、PaaS、SaaS就是云計(jì)算架構(gòu)下對(duì)不同資源的交付模式，分別將基礎(chǔ)設(shè)施、平臺(tái)、軟件以服務(wù)的形式提供給用戶使用。

　　到目前為止，小麥已經(jīng)把相關(guān)的概念都介紹給大家了。我們把前面的大數(shù)據(jù)架構(gòu)圖進(jìn)一步細(xì)化，大家是否看得懂了呢?