海量數(shù)據(jù)何去何從？UCloud優(yōu)刻得新一代歸檔存儲(chǔ)給你想要的答案

　　隨著互聯(lián)網(wǎng)科技的不斷進(jìn)步，產(chǎn)生的數(shù)據(jù)將以成倍速度進(jìn)行增長(zhǎng)，據(jù)IDC預(yù)測(cè)，到2025年全球數(shù)據(jù)總量將會(huì)達(dá)到175ZB。如果要把175ZB用8TB的磁盤存下來的話，那就需要230億塊磁盤來存儲(chǔ)這些數(shù)據(jù)，如果每塊磁盤的成本是1300元，那要完整存儲(chǔ)這些數(shù)據(jù)，就需要付出30萬億的存儲(chǔ)硬件成本投入，相當(dāng)于國(guó)內(nèi)一年生產(chǎn)總值的三分之一。

　　逐步攀升的數(shù)據(jù)存儲(chǔ)需求和高昂存儲(chǔ)成本的沖突下，很多企業(yè)都將面臨著大量數(shù)據(jù)無法得到有效存儲(chǔ)和數(shù)據(jù)流失的問題。對(duì)此，UCloud優(yōu)刻得存儲(chǔ)產(chǎn)品經(jīng)理周恭元在10月23日剛結(jié)束的TIC2020技術(shù)分論壇上帶來了《海量數(shù)據(jù)云歸檔存儲(chǔ)最佳實(shí)踐》的議題分享，圍繞企業(yè)數(shù)據(jù)歸檔面臨的存儲(chǔ)問題及需求，重點(diǎn)介紹了數(shù)據(jù)存儲(chǔ)的分層價(jià)值，以及UCloud優(yōu)刻得新一代歸檔存儲(chǔ)的可靠性優(yōu)勢(shì)及三大適用場(chǎng)景。本文整理自演講內(nèi)容，供大家參考學(xué)習(xí)。

　　傳統(tǒng)歸檔存儲(chǔ)面臨的兩個(gè)問題

　　首先，周恭元分享了今年疫情特殊時(shí)期碰到的兩個(gè)公司的遭遇。

　　第一件事情，大約4月份的時(shí)候，某電商公司一個(gè)做DBA的朋友來咨詢我，本地硬盤已經(jīng)刪除了的文件有沒有辦法恢復(fù)?我便產(chǎn)生了一些疑問，為什么數(shù)據(jù)庫(kù)運(yùn)維要管這些呢?后來詳細(xì)聊了下事情的原委，才知道他們公司由于設(shè)置了30天的數(shù)據(jù)庫(kù)日志備份策略，但是正好碰上這次疫情休假時(shí)間超過了一個(gè)月，導(dǎo)致一些年前的數(shù)據(jù)庫(kù)日志數(shù)據(jù)已經(jīng)被刪除了。究其原因，根本的問題還是由于公司為了節(jié)約成本，使本地歸檔存儲(chǔ)的空間有限造成的。

　　第二件事情，某傳統(tǒng)企業(yè)申報(bào)項(xiàng)目的核心數(shù)據(jù)存儲(chǔ)在公司內(nèi)網(wǎng)的共享文件中，而內(nèi)網(wǎng)網(wǎng)盤數(shù)據(jù)與外網(wǎng)不通，導(dǎo)致他們不得不在疫情相對(duì)嚴(yán)重的時(shí)期，還需要專門派人去公司將所需的數(shù)據(jù)拷出來，浪費(fèi)了大量精力，同時(shí)也存在外出感染疫情的風(fēng)險(xiǎn)。

　　從這兩件事情，不難看出傳統(tǒng)數(shù)據(jù)歸檔存儲(chǔ)確實(shí)存在著兩個(gè)問題：一是本地存儲(chǔ)空間的限制，二是數(shù)據(jù)交互的不便。而這也正是如今有越來越多的用戶開始選擇云存儲(chǔ)進(jìn)行數(shù)據(jù)歸檔的原因。

　　ZB級(jí)數(shù)據(jù)需要做“冷熱”處理

　　隨著數(shù)據(jù)的量級(jí)從MB、GB增長(zhǎng)到PB、EB甚至ZB級(jí)別，就會(huì)產(chǎn)生一個(gè)很實(shí)際的問題，就是企業(yè)存儲(chǔ)能力的提升已經(jīng)遠(yuǎn)遠(yuǎn)跟不上數(shù)據(jù)的增長(zhǎng)速度。預(yù)計(jì)到2025年，全球175ZB的數(shù)據(jù)最終將會(huì)流失超過90%。而對(duì)企業(yè)來說，這流失的90%數(shù)據(jù)正是需要被長(zhǎng)期存儲(chǔ)下來存在價(jià)值的數(shù)據(jù)。

　　一方面是大量數(shù)據(jù)無法得到有效的存儲(chǔ)，另一方面這些真正被存儲(chǔ)下來的數(shù)據(jù)又面臨什么樣的情況呢?

　　通過分析用戶存放在UCloud優(yōu)刻得公有云對(duì)象存儲(chǔ)的數(shù)據(jù)訪問量可以發(fā)現(xiàn)，數(shù)據(jù)在單位時(shí)間內(nèi)的請(qǐng)求數(shù)(我們也稱之為數(shù)據(jù)熱度)，是會(huì)隨著時(shí)間的推移不斷降低的，也就是說絕大多數(shù)據(jù)在半年之后都會(huì)成為冷數(shù)據(jù)。然而實(shí)際上，大部分用戶還是將這些冷數(shù)據(jù)存放在與剛寫入這些數(shù)據(jù)時(shí)相同的存儲(chǔ)類型中，造成了大量不必要的成本支出。

　　針對(duì)這樣的問題，UCloud優(yōu)刻得最早在2017年就推出了第一代歸檔存儲(chǔ)產(chǎn)品，2019年針對(duì)對(duì)象存儲(chǔ)產(chǎn)品的不同存儲(chǔ)類型做了統(tǒng)一，提供了三種不同的存儲(chǔ)類型，單價(jià)上由熱至冷，存儲(chǔ)成本分別為標(biāo)準(zhǔn)存儲(chǔ)的一半與四分之一。這樣一來，用戶就可以實(shí)現(xiàn)在同一個(gè)存儲(chǔ)空間里借助生命周期策略自動(dòng)對(duì)數(shù)據(jù)進(jìn)行降冷處理，從而優(yōu)化存儲(chǔ)成本。

　　新一代歸檔存儲(chǔ)，突破成本極限

　　在今年8月份UCloud優(yōu)刻得發(fā)布了最新一代歸檔存儲(chǔ)產(chǎn)品，成為了國(guó)內(nèi)率先采用JBOD磁盤陣列與SMR疊瓦式磁盤介質(zhì)提供公有云歸檔存儲(chǔ)服務(wù)的云廠商。在具備分鐘級(jí)別取回時(shí)效、11個(gè)9以上數(shù)據(jù)可靠性的歸檔存儲(chǔ)產(chǎn)品中，突破了傳統(tǒng)3分錢每GB每月的定價(jià)區(qū)間，達(dá)到了0.024元每GB每月，可以進(jìn)一步降低20%的成本。

　　大家知道存儲(chǔ)成本主要由硬件、運(yùn)營(yíng)成本構(gòu)成。UCloud優(yōu)刻得新一代歸檔存儲(chǔ)在國(guó)內(nèi)首次采用西部數(shù)據(jù)的高密JBOD設(shè)備和SMR盤，SMR盤全名為疊瓦式磁記錄硬盤，相較于傳統(tǒng)CMR硬盤，最大區(qū)別是，磁道按Zone呈現(xiàn)的疊瓦式分布，這種分布可以以更高密度存儲(chǔ)數(shù)據(jù)。與36盤傳統(tǒng)機(jī)型相比，引入JBOD設(shè)備統(tǒng)一管理硬盤并采用高密度SMR盤：?jiǎn)挝粰C(jī)架的存儲(chǔ)容量提升5.375倍，硬盤數(shù)量增加59%，單塊硬盤存儲(chǔ)空間提升150%。同時(shí)借助磁盤休眠的技術(shù)，可以降低90%的硬盤能耗。

　　在降低成本的同時(shí)，新一代歸檔存儲(chǔ)自研的全新架構(gòu)也帶來了更高的可靠性保障，通過雙機(jī)頭的故障快速切換，能在數(shù)據(jù)取回快速的同時(shí)提供極高的可用性保障;通過采用Intel大比例糾刪碼冗余策略，歸檔存儲(chǔ)提供了同時(shí)4塊硬盤故障情況下的數(shù)據(jù)可靠性保障，由于歸檔存儲(chǔ)讀取請(qǐng)求較小的緣故，新一代歸檔存儲(chǔ)還引入了定期的一致性校驗(yàn)應(yīng)對(duì)磁盤的靜默錯(cuò)誤，以保障數(shù)據(jù)一致性。

　　歸檔存儲(chǔ)的三大場(chǎng)景

　　通過前面的介紹，不難看出歸檔存儲(chǔ)比較適用于一些寫大于讀的數(shù)據(jù)存儲(chǔ)場(chǎng)景，這類數(shù)據(jù)和以往對(duì)云存儲(chǔ)廣泛適用的讀大于寫的場(chǎng)景正好相反，因此歸檔存儲(chǔ)的應(yīng)用場(chǎng)景往往是一些已經(jīng)經(jīng)過在線處理或者應(yīng)用的在線數(shù)據(jù)的近線存儲(chǔ)。由于是近線存儲(chǔ)，數(shù)據(jù)是具備分鐘級(jí)的取回時(shí)效，這和需要數(shù)個(gè)小時(shí)甚至按天取回的離線存儲(chǔ)相比會(huì)有更高的實(shí)時(shí)性。

　　再結(jié)合客戶的實(shí)際使用，我們可以將歸檔存儲(chǔ)的核心場(chǎng)景匯總為三類，分別為多媒體數(shù)據(jù)歸檔、歷史數(shù)據(jù)合規(guī)性歸檔以及大數(shù)據(jù)、AI分析數(shù)據(jù)的歸檔。

　　視頻歸檔場(chǎng)景

　　由于近幾年實(shí)時(shí)音視頻場(chǎng)景的普及，在線教育和培訓(xùn)、遠(yuǎn)程醫(yī)療、視頻會(huì)議、娛樂直播需求層出不窮。借助于UCloud優(yōu)刻得實(shí)時(shí)音視頻服務(wù)提供的強(qiáng)大的覆蓋能力，可以實(shí)現(xiàn)用戶的就近接入，提供網(wǎng)絡(luò)低延遲、低丟包率的音視頻實(shí)時(shí)通信。

　　但也正是因?yàn)閷?shí)時(shí)音視頻服務(wù)的普及，政策監(jiān)管也逐漸規(guī)范化，合規(guī)性要求成為了實(shí)時(shí)視頻業(yè)務(wù)場(chǎng)景中不可或缺的一個(gè)環(huán)節(jié)。目前不僅泛娛樂直播類平臺(tái)通常對(duì)直播視頻有6個(gè)月的合規(guī)性歸檔要求，在線教育、在線醫(yī)療也有了更長(zhǎng)時(shí)間的歷史視頻歸檔的合規(guī)性要求。

　　通過與URTC實(shí)時(shí)音視頻業(yè)務(wù)的無縫接入，UCloud優(yōu)刻得歸檔存儲(chǔ)在此次疫情期間幫助了多家在線教育、在線醫(yī)療用戶實(shí)現(xiàn)了實(shí)時(shí)音視頻與歷史記錄歸檔的無縫銜接，用戶僅需在每次RTC服務(wù)結(jié)束后選擇保存視頻，即可將視頻記錄進(jìn)行歸檔。不僅簡(jiǎn)潔易用，無需額外操作;更在降低存儲(chǔ)成本的同時(shí)易于歸檔視頻的訪問調(diào)取。

　　數(shù)據(jù)庫(kù)、日志備份場(chǎng)景

　　一直以來，數(shù)據(jù)庫(kù)和日志的備份問題困擾著許多電商用戶。通常情況下，中小規(guī)模的電商公司的整套服務(wù)架構(gòu)都在云上，如果給云主機(jī)綁定硬盤用來進(jìn)行備份，會(huì)面臨單點(diǎn)故障的問題，而這些中小企業(yè)又沒有能力自己定制數(shù)據(jù)備份，將數(shù)據(jù)備份至別的存儲(chǔ)類型中。

　　對(duì)此，UCloud優(yōu)刻得提供了靈活的數(shù)據(jù)庫(kù)備份組件和針對(duì)ES集群的備份接入能力，幫助用戶可以快速將MySQL數(shù)據(jù)庫(kù)直接備份至歸檔存儲(chǔ)中，省去了備份到本地再上傳的復(fù)雜過程。歸檔存儲(chǔ)同時(shí)具備ES集群的接入能力，能夠幫助用戶將歷史日志定時(shí)進(jìn)行云歸檔，為用戶保留更長(zhǎng)時(shí)間的日志記錄。

　　UCloud優(yōu)刻得通過幫助客戶進(jìn)行歸檔方式改造，降低了數(shù)家電商公司的數(shù)據(jù)備份成本，延長(zhǎng)備份周期，簡(jiǎn)化操作流程，大大降低了用戶數(shù)據(jù)丟失恢復(fù)及歷史日志追溯的難度。

　　大數(shù)據(jù)歸檔場(chǎng)景

　　針對(duì)大數(shù)據(jù)分析場(chǎng)景，UCloud優(yōu)刻得對(duì)象存儲(chǔ)服務(wù)提供了Hadoop集群的接入工具，甚至在存儲(chǔ)性能上媲美HDFS。過去用戶往往受制于本地HDFS集群的存儲(chǔ)空間，所以將分析后的原始數(shù)據(jù)丟棄，損失了大量數(shù)據(jù)價(jià)值。通過云歸檔的方式將大數(shù)據(jù)分析后留下的大量數(shù)據(jù)樣本和分析結(jié)果進(jìn)行長(zhǎng)期存儲(chǔ)，再通過提供的Hadoop集群的接入工具，就能實(shí)現(xiàn)將歷史數(shù)據(jù)激活后，直接在云端進(jìn)行大數(shù)據(jù)分析，不用擔(dān)心數(shù)據(jù)二次取回的本地存儲(chǔ)空間壓力。

　　企業(yè)也可以更靈活、彈性地應(yīng)對(duì)數(shù)據(jù)爆炸帶來的存儲(chǔ)空間壓力，按3年期投入計(jì)算，更是比本地搭建相同規(guī)模的HDFS集群降低80%以上的成本投入。

　　寫在最后

　　英國(guó)數(shù)學(xué)家Clive Humby曾說過，數(shù)據(jù)是數(shù)字時(shí)代的新石油，盡管數(shù)據(jù)本身很有價(jià)值，但數(shù)據(jù)需要處理，就像石油需要在其真正價(jià)值被解鎖之前需要精煉一樣。石油是一種有限的資源，而數(shù)據(jù)卻是可重復(fù)使用的。對(duì)于企業(yè)而言，積累數(shù)據(jù)就是積累原始財(cái)富，在有分析能力的情況下可以進(jìn)一步提煉數(shù)據(jù)背后的商業(yè)價(jià)值，UCloud優(yōu)刻得新一代歸檔存儲(chǔ)正是為這些海量數(shù)據(jù)歸檔存儲(chǔ)提供高可靠、低成本解決方案的重要基石。