海量數(shù)據(jù)推動云計算和IPFS迅速發(fā)展，存儲器持續(xù)向大容量、高性能演進(jìn)

　　據(jù)IDC的預(yù)測，到2024年，全球?qū)��?chuàng)建、復(fù)制和消費(fèi)143ZB的數(shù)據(jù)，其中中國創(chuàng)建的數(shù)據(jù)為36ZB，占25%。如此龐大的數(shù)據(jù)有多少被存儲下來了呢?西部數(shù)據(jù)認(rèn)為只有不到1.5%的數(shù)據(jù)被存儲下來了。業(yè)界更是有人認(rèn)為這個估計過于樂觀，被存儲下來的數(shù)據(jù)其實是低于這個比例的。

　　企業(yè)級存儲架構(gòu)面臨挑戰(zhàn)

　　為什么會出現(xiàn)這種情況呢?幾年前業(yè)界就在宣傳數(shù)據(jù)是當(dāng)代石油，是發(fā)展的動力。那這么多寶貴的石油就這樣流失掉了，沒有進(jìn)行挖掘和分析處理，不是很浪費(fèi)嗎?

　　西部數(shù)據(jù)公司副總裁兼中國區(qū)業(yè)務(wù)總經(jīng)理劉鋼認(rèn)為，這么多數(shù)據(jù)沒有被存儲下來的主要原因是因為存儲的架構(gòu)和存儲的技術(shù)沒有及時跟上，因此大部分的數(shù)據(jù)都沒有辦法被存儲下來并及時使用。

　　圖1：西部數(shù)據(jù)公司副總裁兼中國區(qū)業(yè)務(wù)總經(jīng)理劉鋼

　　這也就是說，目前企業(yè)級的存儲架構(gòu)正面臨著一些不可避免的挑戰(zhàn)，包括數(shù)據(jù)增長迅速、存儲性能需求倍增、TCO成本負(fù)擔(dān)增加，及更綠色能耗體系標(biāo)準(zhǔn)的挑戰(zhàn)。

　　人們需要大容量、能快速訪問、并且成本更低，能耗更低的存儲。那么，有沒有一個存儲設(shè)備，或者一種存儲介質(zhì)能夠同時滿足這四個方面的要求呢?

　　劉鋼在不久前的2021深圳國際大數(shù)據(jù)與存儲峰會上表示，能滿足這四個要求的單一存儲介質(zhì)或者存儲設(shè)備的確是非常難找到。但幸運(yùn)的是，人們可以通過創(chuàng)新的架構(gòu)，用系統(tǒng)來滿足用戶各方面、各種存儲場景的需求。“因為用戶的數(shù)據(jù)是要進(jìn)行分層的，用戶的數(shù)據(jù)有不同的類型，不同類型的數(shù)據(jù)對存儲的要求也是不一樣的。”

　　創(chuàng)新存儲架構(gòu)應(yīng)對海量數(shù)據(jù)需求

　　在劉鋼看來，數(shù)據(jù)是有分層的，因此他把數(shù)據(jù)分成了極熱數(shù)據(jù)、熱數(shù)據(jù)、溫數(shù)據(jù)、冷數(shù)據(jù)和極冷數(shù)據(jù)五層。并且還劃分了每層對應(yīng)的應(yīng)用場景。

　　而對于不同層的數(shù)據(jù)，需要采用的存儲介質(zhì)和存儲設(shè)備是不一樣的。比如對于冷數(shù)據(jù)和極冷數(shù)據(jù)而言，業(yè)界目前常用的方案是高密度的大容量企業(yè)級硬盤。

　　圖2：創(chuàng)新的分層存儲架構(gòu)。(來源：西部數(shù)據(jù))

　　劉鋼對媒體表示，目前高密度企業(yè)級硬盤已經(jīng)進(jìn)化到了18T。針對極冷存儲，西部數(shù)據(jù)利用軟件和技術(shù)優(yōu)化，采用了SMR疊瓦式的硬盤能做到20T的高密度企業(yè)應(yīng)用。

　　談到具體產(chǎn)品，劉鋼介紹說，20TB Ultrastar DC HC650主機(jī)管理SMR HDD和16TB與18TB Ultrastar DC HC550 CMR HDD已經(jīng)于2019年9月發(fā)布，是優(yōu)先進(jìn)入商業(yè)化實施階段的EAMR技術(shù)。憑借西部數(shù)據(jù)HelioSeal技術(shù)提供的出色功耗以及機(jī)械創(chuàng)新(例如提高磁頭定位精度并提供更大容量功能的TSA)，這些HDD可提供領(lǐng)先的面密度，九磁碟硬盤還使客戶能夠更有效地配置和擴(kuò)展數(shù)據(jù)中心環(huán)境，同時提供更低的總體擁有成本。

　　圖3：大數(shù)據(jù)多使用極冷存儲和冷存儲，因為很多時候人們并不需要時刻讀取。(來源：西部數(shù)據(jù))

　　單位TB價格( $/TB) 是存儲服務(wù)器購置成本的關(guān)鍵組成部分，也是構(gòu)建現(xiàn)代云數(shù)據(jù)中心的一個考量核心。相比較于$/TB這一維度，TCO則更能體現(xiàn)準(zhǔn)確的數(shù)據(jù)中心運(yùn)營成本：TCO 的降低并不限于降低 $/TB。每個硬盤的容量越大，意味著更少的服務(wù)器擁有更大的儲存容量，從而節(jié)省資本支出和運(yùn)營成本。例如從14TB遷移到18TB呈現(xiàn)出顯著的TCO收益：服務(wù)器減少了22%;TCO降低了11%。鑒于數(shù)據(jù)中心占用空間有限，通過更高的HDD容量進(jìn)行更密集的存儲部署，還可以產(chǎn)生更多的收入。

　　存儲服務(wù)器的成本通常要求控制在數(shù)據(jù)中心總體運(yùn)營成本的60%以內(nèi)。而實際上，更高容量的HDD可以更有效地平衡這一需求。西部數(shù)據(jù)持續(xù)進(jìn)行多項技術(shù)的創(chuàng)新，例如能量輔助、機(jī)械設(shè)計、材料和記錄技術(shù)，幫助所有數(shù)據(jù)中心客戶，無論是超大規(guī)模云客戶，大型企業(yè)還是中小企業(yè)來有效應(yīng)對他們的數(shù)據(jù)基礎(chǔ)架構(gòu)挑戰(zhàn)。

　　圖4：從左到右依次為：西部數(shù)據(jù)Ultrastar DC HC550 HDD 16TB、Ultrastar DC HC550 HDD 18TB和Ultrastar DC HC650 HDD 20TB

　　劉鋼還透露了一個消息，那就頭部的云服務(wù)商硬盤在過去4年當(dāng)中，從8T進(jìn)化到了18T。而的IPFS的服務(wù)商則在以更快的速度進(jìn)化，他們幾乎在過去四個季度就走完了云服務(wù)商過去4年的演進(jìn)過程，也從8T進(jìn)化到了18T。

　　圖5：云服務(wù)商與IPFS服務(wù)商使用硬盤的演進(jìn)過程。

　　為什么數(shù)據(jù)中心能迅速從8T進(jìn)化到18T呢?其實是當(dāng)數(shù)據(jù)中心只是從14T升級到18T，為了達(dá)到同樣存儲的容量，服務(wù)器數(shù)量會減少約22%，而且不僅是服務(wù)器數(shù)量減少了，存儲密度也提高了，而且單位功耗還降低了約21%，因此部署成本降低了，運(yùn)維成本也降低了。

　　除了大數(shù)據(jù)之外，還有一部分的數(shù)據(jù)用戶需要能夠快速訪問，比如像熱存儲、溫存儲等，這些數(shù)據(jù)指的就是快速據(jù)。西部數(shù)據(jù)把SSD劃分成了兩類，一類是主流的SSD，還有一類是針對寫密集、計算密集的高性能SSD。

　　據(jù)劉鋼介紹，西部數(shù)據(jù)推出了新的Ultrastar DC SN840 NVMe SSD和Ultrastar DC SN640 NVMe SSD。應(yīng)用到IPFS里面，尤其是針對封裝計算機(jī)、封裝服務(wù)器的時候用SSD，對于IPFS的封裝機(jī)器來講，4個7.68T的SSD能提供非常好的加速。

　　談到SSD，目前其主要容量點(diǎn)是3.84T和7.68T。“SSD的主要成本在閃存(Flash)，F(xiàn)lash決定了SSD硬盤的成本和性能。所以一家SSD的供應(yīng)商需要有大規(guī)模的產(chǎn)能，能夠保證供應(yīng)，同時能夠降低成本，還要有領(lǐng)先的Flash技術(shù)能夠提供高性能Flash、有自主可控的控制器和部件來縱向地優(yōu)化SSD的產(chǎn)品，提供一致穩(wěn)定的高性能，而不只是某個時間的高性能或者峰值的高性能。”他指出。

　　圖6：西部數(shù)據(jù)發(fā)布第六代3D閃存技術(shù)。(來源：西部數(shù)據(jù))

　　劉鋼還提到了他們剛剛發(fā)布的第6代3D閃存技術(shù)，162層的3D閃存技術(shù)，該技術(shù)會進(jìn)一步地縮小芯片的尺寸，降低成本、提高性能。它的程序性能可以提高兩倍以上，輸入/輸出的IOPS提高約66%。

　　圖7：西部數(shù)據(jù)的企業(yè)級固態(tài)硬盤的技術(shù)優(yōu)勢。

　　在劉鋼看來，西部數(shù)據(jù)最大的優(yōu)勢是縱向集成的優(yōu)勢。他們不僅有控制器及其固件，再將它們與Flash縱向集成后，可以達(dá)到非常穩(wěn)定的一致性。

　　圖8：西部數(shù)據(jù)存儲硬件方案和優(yōu)勢。

　　與合作伙伴的成功案例

　　截止目前，西部數(shù)據(jù)已經(jīng)與諸多行業(yè)領(lǐng)先的公司開展了合作，致力于依靠行業(yè)領(lǐng)先的技術(shù)和整體解決方案來支持客戶與合作伙伴。

　　1.Dropbox超大容量企業(yè)級HDD全球應(yīng)用

　　Dropbox與西部數(shù)據(jù)攜手，為確保流暢無縫地實現(xiàn)向SMR的遷移，Dropbox針對其特定機(jī)箱配置進(jìn)行內(nèi)部測試，采用SMR技術(shù)替換原有CMR技術(shù)后存儲密度增加了10%-20%，節(jié)約了20%的TCO。

　　作為率先認(rèn)證Ultrastar 20TB SMR HDD的企業(yè)之一，Dropbox利用數(shù)據(jù)中心的大容量、高效率和擴(kuò)展能力，應(yīng)對滿足全球企業(yè)、團(tuán)隊和個人對云存儲和服務(wù)不斷增長的前沿需求。Dropbox日前成為首批認(rèn)證西部數(shù)據(jù)主機(jī)管理疊瓦式磁記錄 SMR HDD — Ultrastar DC HC650 20TB — 的企業(yè)之一。通過將西部數(shù)據(jù)SMR HDD用作定制的EB級存儲平臺的存儲基石，Dropbox遵循其戰(zhàn)略路線，以更好總體擁有成本(TCO)實現(xiàn)更高的存儲密度。

　　2.浪潮、星辰天合的IPFS解決方案

　　西部數(shù)據(jù)、浪潮、星辰天合多方攜手，聯(lián)合推出IPFS 解決方案，在軟件層面，該解決方案搭載了專為 IPFS 場景而生的 XSFS(XSKY Scalable File System)系統(tǒng)，通過全新的存儲技術(shù)手段，基于通用的 X86 服務(wù)器構(gòu)建了一個無限擴(kuò)容、持續(xù)在線的高性價比存儲架構(gòu)體系，在保證數(shù)據(jù)高安全性的同時，打破存儲規(guī)模壁壘，降低 IPFS 建設(shè)的投入，滿足 IPFS 業(yè)務(wù)存儲需求。

　　在硬件層面，該解決方案包括浪潮英信服務(wù)器 NF5466M5、西部數(shù)據(jù) Ultrastar DC SN840 SSD、Ultrastar DC HC550 硬盤以及 Ultrastar Data60 JBOD 存儲平臺。通過搭載 44 塊/36 塊大容量的 Ultrastar DC HC550，NF5466M5 為 IPFS 存儲提供了海量的存儲空間，并借助硬盤的高穩(wěn)定性，顯著降低復(fù)制證明和時空證明提交過程中出現(xiàn)錯誤的幾率。

　　3.聯(lián)手杉巖數(shù)據(jù)打造IPFS解決方案

　　杉巖數(shù)據(jù)聯(lián)合西部數(shù)據(jù)，共同推出搭載了杉巖 MOS 海量對象存儲系統(tǒng)以及西部數(shù)據(jù)SSD, HDD與JBOD存儲平臺，并針對 IPFS 進(jìn)行了優(yōu)化的解決方案。該系統(tǒng)能夠滿足算力集群數(shù)據(jù)寫入需要的高吞吐量存儲集群性能，并對時空證明請求進(jìn)行了優(yōu)化，使其可以獲取多個文件的多段內(nèi)容。同時，杉巖數(shù)據(jù)還在該方案中部署了 EC(22+2)冗余技術(shù)，實現(xiàn)了高達(dá) 91.6% 的存儲空間利用率。

　　該解決方案搭載了西部數(shù)據(jù) Ultrastar DC SN840 NVMe SSD和Ultrastar DC SN640 NVMe SSD，Ultrastar DC HC550 18TB大容量HDD，以及 Ultrastar Data102 JBOD 存儲平臺，可以全面滿足 IPFS 存儲集群需求。得益于西部數(shù)據(jù)在存儲硬件方面的優(yōu)勢以及杉巖數(shù)據(jù)卓越的存儲系統(tǒng)設(shè)計，該解決方案能夠幫助 IPFS 服務(wù)提供商顯著提升性能、穩(wěn)定性并提升投資回報率。其中 Ultrastar DC HC550 HDD 18TB的超大容量以及 Ultrastar Data102 的組合有利于實現(xiàn)集約性的空間設(shè)計，使得組建 IPFS集群所需要的機(jī)柜空間、電源功耗、硬件成本大大降低。

　　4.聯(lián)手長城超云打造IPFS新范式

　　長城超云與西部數(shù)據(jù)聯(lián)手打造出多款完美貼合IPFS場景的產(chǎn)品級解決方案，在IPFS行業(yè)種得到廣泛的應(yīng)用。

　　方案主要以西部數(shù)據(jù)高性能大容量企業(yè)級硬盤Ultrastar DC HC550系列的18TB HDD為基礎(chǔ)，設(shè)計了異構(gòu)產(chǎn)品組合的集群測試方案，包括Miner、Worker和Storage，大幅提升了客戶的業(yè)務(wù)效率，從而增強(qiáng)了客戶在IPFS領(lǐng)域的核心競爭力。通過優(yōu)越的產(chǎn)品配置與算法調(diào)優(yōu)使得整體效率提升50%以上，同時單T有效算力硬件成本大幅降低。