華云數(shù)據(jù)IT課堂：創(chuàng)新型企業(yè)級(jí)私有云存儲(chǔ)是如何煉成的？

 　　背景

　　互聯(lián)網(wǎng)和大數(shù)據(jù)的發(fā)展使得企事業(yè)單位對數(shù)據(jù)存儲(chǔ)的需求陡增。雖然公有云存儲(chǔ)發(fā)展已趨于成熟，能夠提供豐富的功能和極高的可靠性，但是依然存在安全性、可定制化、公網(wǎng)訪問帶寬受限等問題。因此，大部分有特殊需求的客戶，并不愿意將數(shù)據(jù)存儲(chǔ)到公有云，而是尋求借助開源存儲(chǔ)解決方案，來快速搭建一套私有云存儲(chǔ)系統(tǒng)。

　　當(dāng)前，存儲(chǔ)業(yè)界已經(jīng)有Ceph、Swift、Gluster等眾多可選開源解決方案。然而，存儲(chǔ)系統(tǒng)作為最底層的基礎(chǔ)設(shè)施，其選型需要考慮的問題非常繁雜，例如：存儲(chǔ)業(yè)務(wù)的使用場景具體有哪些?存儲(chǔ)系統(tǒng)內(nèi)部的高可用、高可靠、高安全等設(shè)計(jì)是否都靠譜?存儲(chǔ)系統(tǒng)是否足夠成熟、周邊工具是否完善?存儲(chǔ)系統(tǒng)是否有生產(chǎn)環(huán)境大規(guī)模應(yīng)用的案例?如何遷移歷史數(shù)據(jù)并充分利用原有舊設(shè)備?等等。

　　那么，解決掉這些問題，就能保證數(shù)據(jù)存儲(chǔ)高枕無憂嗎?并非如此。為了確保開源存儲(chǔ)系統(tǒng)持續(xù)穩(wěn)定運(yùn)行，必須深入理解該系統(tǒng)的架構(gòu)設(shè)計(jì)和部署方式，并具有持續(xù)優(yōu)化和改進(jìn)的能力。同時(shí)，還需要根據(jù)實(shí)際使用場景，以及未來可能的發(fā)展趨勢進(jìn)行資源預(yù)留和調(diào)配。即使具有專業(yè)存儲(chǔ)技術(shù)團(tuán)隊(duì)的大型企業(yè)，面對開源存儲(chǔ)系統(tǒng)的潛在風(fēng)險(xiǎn)，都存在問題定位難、解決慢的尷尬。而這些風(fēng)險(xiǎn)如果發(fā)生在缺乏足夠經(jīng)驗(yàn)的團(tuán)隊(duì)上，幾乎是致命的。稍有不慎，就會(huì)有數(shù)據(jù)無法訪問甚至丟失的風(fēng)險(xiǎn)。

　　可以總結(jié)一句話：開源 ≠ 能用

　　對于研發(fā)力量不足的私有云存儲(chǔ)客戶，我們更推薦另一種方式，即選擇專業(yè)私有云存儲(chǔ)提供商的產(chǎn)品和服務(wù)。

　　華云StorUltra™私有云存儲(chǔ)

　　華云數(shù)據(jù)深耕云計(jì)算領(lǐng)域多年，深刻理解客戶在企業(yè)級(jí)私有云存儲(chǔ)建設(shè)方面的痛點(diǎn)。依托公司在公有云存儲(chǔ)服務(wù)多年的研發(fā)和運(yùn)營經(jīng)驗(yàn)，自主研發(fā)了StorUltra™私有云存儲(chǔ)，其具有海量存儲(chǔ)、安全可靠、成本低廉等特性，兼容主流Swift和S3接口。用戶可以通過簡單的HTTP RESTful或封裝好的SDK，在任何時(shí)間、任何地點(diǎn)、任何互聯(lián)網(wǎng)設(shè)備上進(jìn)行數(shù)據(jù)上傳和下載。基于StorUltra™私有云存儲(chǔ)，可以搭建出多媒體分享網(wǎng)站、企業(yè)網(wǎng)盤、數(shù)據(jù)容災(zāi)備份等服務(wù)。

　　如上StorUltra™私有云存儲(chǔ)基礎(chǔ)架構(gòu)圖，底層使用可擴(kuò)展的通用服務(wù)器、硬盤和網(wǎng)絡(luò)設(shè)備，提供了一整套存儲(chǔ)解決方案，實(shí)現(xiàn)一站式的私有云存儲(chǔ)服務(wù)，功能亮點(diǎn)包括：

　　1. 底層實(shí)現(xiàn)了高可靠、高可用、高安全的分布式存儲(chǔ)系統(tǒng)

　　2. 通過Web控制臺(tái)進(jìn)行自動(dòng)化運(yùn)維，最大程度降低運(yùn)維成本

　　3. 提供完善的系統(tǒng)監(jiān)控與報(bào)警，完備對接認(rèn)證授權(quán)體系

　　4. 提供傳統(tǒng)的數(shù)據(jù)訪問接口(NFS/FTP/SMB等)

　　5. 提供與S3和Swift兼容的對象存儲(chǔ)訪問接口

　　6. 輕松對接華云公有云COS，輕松實(shí)現(xiàn)混合云方案

　　7. 支持對接業(yè)界主流的公有云存儲(chǔ)服務(wù)，數(shù)據(jù)遷移非常便捷

　　8. 提供圖片處理、音視頻處理等數(shù)據(jù)增值服務(wù)

　　9. 7*24小時(shí)專業(yè)團(tuán)隊(duì)提供技術(shù)支持

　　本文將重點(diǎn)解密StorUltra™私有云存儲(chǔ)在系統(tǒng)高可靠、高可用、高安全的特性。

　　高可靠性

　　StorUltra™私有云存儲(chǔ)使用多副本(Multi Replica)和糾刪碼EC(Erasure Coding)保證數(shù)據(jù)可靠性。根據(jù)實(shí)際場景，用戶可選擇不同的數(shù)據(jù)保護(hù)方案。

　　若用戶選擇多副本數(shù)據(jù)保護(hù)方案，可以自由配置數(shù)據(jù)備份數(shù)，根據(jù)業(yè)界經(jīng)驗(yàn)值，我們推薦使用三備份，以達(dá)到成本和可靠性的平衡。使用三備份存儲(chǔ)，可以達(dá)到99.99999999%的數(shù)據(jù)可靠性。

　　若用戶選擇糾刪碼EC數(shù)據(jù)保護(hù)方案，可以自由選擇EC算法以及數(shù)據(jù)塊和校驗(yàn)塊配比。我們推薦使用7+5的配比，達(dá)到超過三副本的數(shù)據(jù)可靠性，且相較于三副本，該方案可將存儲(chǔ)利用率提升近一倍。

　　高可用性

　　StorUltra™私有云存儲(chǔ)在系統(tǒng)設(shè)計(jì)上無任何單點(diǎn)，系統(tǒng)可以在以下異常時(shí)仍然對外提供正常服務(wù)：軟件升級(jí)、節(jié)點(diǎn)宕機(jī)、存儲(chǔ)設(shè)備故障、網(wǎng)絡(luò)瞬時(shí)異常、分區(qū)不可用。

　　如上圖所示，每一個(gè)層級(jí)都有可高用保障機(jī)制：

　　接入故障：接入節(jié)點(diǎn)無狀態(tài)設(shè)計(jì)，Load Balancer檢測到接入節(jié)點(diǎn)故障時(shí)，僅需將其流量切換到其他接入節(jié)點(diǎn);

　　存儲(chǔ)故障：數(shù)據(jù)采用多副本或者糾刪碼EC打散存儲(chǔ)，單一存儲(chǔ)節(jié)點(diǎn)故障時(shí)可從其他節(jié)點(diǎn)恢復(fù)原始數(shù)據(jù)，系統(tǒng)后臺(tái)會(huì)啟動(dòng)數(shù)據(jù)自動(dòng)修復(fù)功能，將故障存儲(chǔ)節(jié)點(diǎn)數(shù)據(jù)在其他節(jié)點(diǎn)上恢復(fù);而且系統(tǒng)會(huì)將該故障存儲(chǔ)節(jié)點(diǎn)標(biāo)記為異常，保證不會(huì)再有寫請求進(jìn)入該節(jié)點(diǎn);

　　網(wǎng)絡(luò)故障：接入節(jié)點(diǎn)與存儲(chǔ)節(jié)點(diǎn)之間出現(xiàn)網(wǎng)絡(luò)故障時(shí)，接入節(jié)點(diǎn)會(huì)自動(dòng)重試其他數(shù)據(jù)副本(或EC數(shù)據(jù)塊)，保證服務(wù)依然可用;

　　分區(qū)故障：當(dāng)可用區(qū)發(fā)生故障時(shí)，可以通過多備份技術(shù)讀到數(shù)據(jù)備份，或者通過糾刪碼進(jìn)行數(shù)據(jù)恢復(fù)。寫操作會(huì)自動(dòng)路由到可用分區(qū)，確保寫入的可用性。

　　高安全性

　　StorUltra™私有云存儲(chǔ)從數(shù)據(jù)傳輸、數(shù)據(jù)完整性、身份認(rèn)證、訪問控制、服務(wù)端加密、數(shù)據(jù)分塊存儲(chǔ)等多方面保證用戶數(shù)據(jù)安全。

　　傳輸安全：數(shù)據(jù)上傳下載鏈路均支持HTTPS協(xié)議，防止數(shù)據(jù)在傳輸過程中被偵聽泄密;

　　完整性校驗(yàn)：通過兩端的MD5驗(yàn)證，對每一個(gè)請求進(jìn)行數(shù)據(jù)完整性校驗(yàn)，防止數(shù)據(jù)在傳輸過程中被篡改;

　　身份認(rèn)證：采用密鑰進(jìn)行身份認(rèn)證，用戶發(fā)起的請求都需要進(jìn)行簽名，服務(wù)端會(huì)對用戶的身份進(jìn)行認(rèn)證;

　　訪問控制：提供靈活的數(shù)據(jù)訪問控制模型，可以通過授權(quán)系統(tǒng)指定哪個(gè)賬戶能訪問您的數(shù)據(jù)，保證重要數(shù)據(jù)的安全;

　　服務(wù)端加密：對所有磁盤上存儲(chǔ)的數(shù)據(jù)進(jìn)行加密，即使托管在第三方數(shù)據(jù)中心，也不用擔(dān)心數(shù)據(jù)被竊;

　　分塊存儲(chǔ)：文件被打散成相互之間無關(guān)聯(lián)的分塊后再進(jìn)行落地存儲(chǔ)，通過單個(gè)分塊無法恢復(fù)完整文件;

　　跨可用區(qū)存儲(chǔ)：通過糾刪碼EC，能夠?qū)⑽募�打算存�?chǔ)到多個(gè)可用區(qū)，即使某個(gè)可用區(qū)被完全攻破也無法恢復(fù)完整文件。

　　通過高可靠、高可用、高安全的介紹，相信大家對StorUltra™私有云存儲(chǔ)有了初步了解。那么，如何解決企業(yè)級(jí)私有云存儲(chǔ)面臨的自動(dòng)化運(yùn)維、監(jiān)控報(bào)警、混合云存儲(chǔ)整合等難題?我們將通過后續(xù)的一系列文章進(jìn)一步介紹。