海量數(shù)據(jù)推動云計算和IPFS迅速發(fā)展，存儲器持續(xù)向大容量、高性能演進

　　據(jù)IDC的預測，到2024年，全球?qū)��?chuàng)建、復制和消費143ZB的數(shù)據(jù)，其中中國創(chuàng)建的數(shù)據(jù)為36ZB，占25%。如此龐大的數(shù)據(jù)有多少被存儲下來了呢?西部數(shù)據(jù)認為只有不到1.5%的數(shù)據(jù)被存儲下來了。業(yè)界更是有人認為這個估計過于樂觀，被存儲下來的數(shù)據(jù)其實是低于這個比例的。

　　企業(yè)級存儲架構面臨挑戰(zhàn)

　　為什么會出現(xiàn)這種情況呢?幾年前業(yè)界就在宣傳數(shù)據(jù)是當代石油，是發(fā)展的動力。那這么多寶貴的石油就這樣流失掉了，沒有進行挖掘和分析處理，不是很浪費嗎?

　　西部數(shù)據(jù)公司副總裁兼中國區(qū)業(yè)務總經(jīng)理劉鋼認為，這么多數(shù)據(jù)沒有被存儲下來的主要原因是因為存儲的架構和存儲的技術沒有及時跟上，因此大部分的數(shù)據(jù)都沒有辦法被存儲下來并及時使用。

　　圖1：西部數(shù)據(jù)公司副總裁兼中國區(qū)業(yè)務總經(jīng)理劉鋼

　　這也就是說，目前企業(yè)級的存儲架構正面臨著一些不可避免的挑戰(zhàn)，包括數(shù)據(jù)增長迅速、存儲性能需求倍增、TCO成本負擔增加，及更綠色能耗體系標準的挑戰(zhàn)。

　　人們需要大容量、能快速訪問、并且成本更低，能耗更低的存儲。那么，有沒有一個存儲設備，或者一種存儲介質(zhì)能夠同時滿足這四個方面的要求呢?

　　劉鋼在不久前的2021深圳國際大數(shù)據(jù)與存儲峰會上表示，能滿足這四個要求的單一存儲介質(zhì)或者存儲設備的確是非常難找到。但幸運的是，人們可以通過創(chuàng)新的架構，用系統(tǒng)來滿足用戶各方面、各種存儲場景的需求。“因為用戶的數(shù)據(jù)是要進行分層的，用戶的數(shù)據(jù)有不同的類型，不同類型的數(shù)據(jù)對存儲的要求也是不一樣的。”

　　創(chuàng)新存儲架構應對海量數(shù)據(jù)需求

　　在劉鋼看來，數(shù)據(jù)是有分層的，因此他把數(shù)據(jù)分成了極熱數(shù)據(jù)、熱數(shù)據(jù)、溫數(shù)據(jù)、冷數(shù)據(jù)和極冷數(shù)據(jù)五層。并且還劃分了每層對應的應用場景。

　　而對于不同層的數(shù)據(jù)，需要采用的存儲介質(zhì)和存儲設備是不一樣的。比如對于冷數(shù)據(jù)和極冷數(shù)據(jù)而言，業(yè)界目前常用的方案是高密度的大容量企業(yè)級硬盤。

　　圖2：創(chuàng)新的分層存儲架構。(來源：西部數(shù)據(jù))

　　劉鋼對媒體表示，目前高密度企業(yè)級硬盤已經(jīng)進化到了18T。針對極冷存儲，西部數(shù)據(jù)利用軟件和技術優(yōu)化，采用了SMR疊瓦式的硬盤能做到20T的高密度企業(yè)應用。

　　談到具體產(chǎn)品，劉鋼介紹說，20TB Ultrastar DC HC650主機管理SMR HDD和16TB與18TB Ultrastar DC HC550 CMR HDD已經(jīng)于2019年9月發(fā)布，是優(yōu)先進入商業(yè)化實施階段的EAMR技術。憑借西部數(shù)據(jù)HelioSeal技術提供的出色功耗以及機械創(chuàng)新(例如提高磁頭定位精度并提供更大容量功能的TSA)，這些HDD可提供領先的面密度，九磁碟硬盤還使客戶能夠更有效地配置和擴展數(shù)據(jù)中心環(huán)境，同時提供更低的總體擁有成本。

　　圖3：大數(shù)據(jù)多使用極冷存儲和冷存儲，因為很多時候人們并不需要時刻讀取。(來源：西部數(shù)據(jù))

　　單位TB價格( $/TB) 是存儲服務器購置成本的關鍵組成部分，也是構建現(xiàn)代云數(shù)據(jù)中心的一個考量核心。相比較于$/TB這一維度，TCO則更能體現(xiàn)準確的數(shù)據(jù)中心運營成本：TCO 的降低并不限于降低 $/TB。每個硬盤的容量越大，意味著更少的服務器擁有更大的儲存容量，從而節(jié)省資本支出和運營成本。例如從14TB遷移到18TB呈現(xiàn)出顯著的TCO收益：服務器減少了22%;TCO降低了11%。鑒于數(shù)據(jù)中心占用空間有限，通過更高的HDD容量進行更密集的存儲部署，還可以產(chǎn)生更多的收入。

　　存儲服務器的成本通常要求控制在數(shù)據(jù)中心總體運營成本的60%以內(nèi)。而實際上，更高容量的HDD可以更有效地平衡這一需求。西部數(shù)據(jù)持續(xù)進行多項技術的創(chuàng)新，例如能量輔助、機械設計、材料和記錄技術，幫助所有數(shù)據(jù)中心客戶，無論是超大規(guī)模云客戶，大型企業(yè)還是中小企業(yè)來有效應對他們的數(shù)據(jù)基礎架構挑戰(zhàn)。

　　圖4：從左到右依次為：西部數(shù)據(jù)Ultrastar DC HC550 HDD 16TB、Ultrastar DC HC550 HDD 18TB和Ultrastar DC HC650 HDD 20TB

　　劉鋼還透露了一個消息，那就頭部的云服務商硬盤在過去4年當中，從8T進化到了18T。而的IPFS的服務商則在以更快的速度進化，他們幾乎在過去四個季度就走完了云服務商過去4年的演進過程，也從8T進化到了18T。

　　圖5：云服務商與IPFS服務商使用硬盤的演進過程。

　　為什么數(shù)據(jù)中心能迅速從8T進化到18T呢?其實是當數(shù)據(jù)中心只是從14T升級到18T，為了達到同樣存儲的容量，服務器數(shù)量會減少約22%，而且不僅是服務器數(shù)量減少了，存儲密度也提高了，而且單位功耗還降低了約21%，因此部署成本降低了，運維成本也降低了。

　　除了大數(shù)據(jù)之外，還有一部分的數(shù)據(jù)用戶需要能夠快速訪問，比如像熱存儲、溫存儲等，這些數(shù)據(jù)指的就是快速據(jù)。西部數(shù)據(jù)把SSD劃分成了兩類，一類是主流的SSD，還有一類是針對寫密集、計算密集的高性能SSD。

　　據(jù)劉鋼介紹，西部數(shù)據(jù)推出了新的Ultrastar DC SN840 NVMe SSD和Ultrastar DC SN640 NVMe SSD。應用到IPFS里面，尤其是針對封裝計算機、封裝服務器的時候用SSD，對于IPFS的封裝機器來講，4個7.68T的SSD能提供非常好的加速。

　　談到SSD，目前其主要容量點是3.84T和7.68T。“SSD的主要成本在閃存(Flash)，F(xiàn)lash決定了SSD硬盤的成本和性能。所以一家SSD的供應商需要有大規(guī)模的產(chǎn)能，能夠保證供應，同時能夠降低成本，還要有領先的Flash技術能夠提供高性能Flash、有自主可控的控制器和部件來縱向地優(yōu)化SSD的產(chǎn)品，提供一致穩(wěn)定的高性能，而不只是某個時間的高性能或者峰值的高性能。”他指出。

　　圖6：西部數(shù)據(jù)發(fā)布第六代3D閃存技術。(來源：西部數(shù)據(jù))

　　劉鋼還提到了他們剛剛發(fā)布的第6代3D閃存技術，162層的3D閃存技術，該技術會進一步地縮小芯片的尺寸，降低成本、提高性能。它的程序性能可以提高兩倍以上，輸入/輸出的IOPS提高約66%。

　　圖7：西部數(shù)據(jù)的企業(yè)級固態(tài)硬盤的技術優(yōu)勢。

　　在劉鋼看來，西部數(shù)據(jù)最大的優(yōu)勢是縱向集成的優(yōu)勢。他們不僅有控制器及其固件，再將它們與Flash縱向集成后，可以達到非常穩(wěn)定的一致性。

　　圖8：西部數(shù)據(jù)存儲硬件方案和優(yōu)勢。

　　與合作伙伴的成功案例

　　截止目前，西部數(shù)據(jù)已經(jīng)與諸多行業(yè)領先的公司開展了合作，致力于依靠行業(yè)領先的技術和整體解決方案來支持客戶與合作伙伴。

　　1.Dropbox超大容量企業(yè)級HDD全球應用

　　Dropbox與西部數(shù)據(jù)攜手，為確保流暢無縫地實現(xiàn)向SMR的遷移，Dropbox針對其特定機箱配置進行內(nèi)部測試，采用SMR技術替換原有CMR技術后存儲密度增加了10%-20%，節(jié)約了20%的TCO。

　　作為率先認證Ultrastar 20TB SMR HDD的企業(yè)之一，Dropbox利用數(shù)據(jù)中心的大容量、高效率和擴展能力，應對滿足全球企業(yè)、團隊和個人對云存儲和服務不斷增長的前沿需求。Dropbox日前成為首批認證西部數(shù)據(jù)主機管理疊瓦式磁記錄 SMR HDD — Ultrastar DC HC650 20TB — 的企業(yè)之一。通過將西部數(shù)據(jù)SMR HDD用作定制的EB級存儲平臺的存儲基石，Dropbox遵循其戰(zhàn)略路線，以更好總體擁有成本(TCO)實現(xiàn)更高的存儲密度。

　　2.浪潮、星辰天合的IPFS解決方案

　　西部數(shù)據(jù)、浪潮、星辰天合多方攜手，聯(lián)合推出IPFS 解決方案，在軟件層面，該解決方案搭載了專為 IPFS 場景而生的 XSFS(XSKY Scalable File System)系統(tǒng)，通過全新的存儲技術手段，基于通用的 X86 服務器構建了一個無限擴容、持續(xù)在線的高性價比存儲架構體系，在保證數(shù)據(jù)高安全性的同時，打破存儲規(guī)模壁壘，降低 IPFS 建設的投入，滿足 IPFS 業(yè)務存儲需求。

　　在硬件層面，該解決方案包括浪潮英信服務器 NF5466M5、西部數(shù)據(jù) Ultrastar DC SN840 SSD、Ultrastar DC HC550 硬盤以及 Ultrastar Data60 JBOD 存儲平臺。通過搭載 44 塊/36 塊大容量的 Ultrastar DC HC550，NF5466M5 為 IPFS 存儲提供了海量的存儲空間，并借助硬盤的高穩(wěn)定性，顯著降低復制證明和時空證明提交過程中出現(xiàn)錯誤的幾率。

　　3.聯(lián)手杉巖數(shù)據(jù)打造IPFS解決方案

　　杉巖數(shù)據(jù)聯(lián)合西部數(shù)據(jù)，共同推出搭載了杉巖 MOS 海量對象存儲系統(tǒng)以及西部數(shù)據(jù)SSD, HDD與JBOD存儲平臺，并針對 IPFS 進行了優(yōu)化的解決方案。該系統(tǒng)能夠滿足算力集群數(shù)據(jù)寫入需要的高吞吐量存儲集群性能，并對時空證明請求進行了優(yōu)化，使其可以獲取多個文件的多段內(nèi)容。同時，杉巖數(shù)據(jù)還在該方案中部署了 EC(22+2)冗余技術，實現(xiàn)了高達 91.6% 的存儲空間利用率。

　　該解決方案搭載了西部數(shù)據(jù) Ultrastar DC SN840 NVMe SSD和Ultrastar DC SN640 NVMe SSD，Ultrastar DC HC550 18TB大容量HDD，以及 Ultrastar Data102 JBOD 存儲平臺，可以全面滿足 IPFS 存儲集群需求。得益于西部數(shù)據(jù)在存儲硬件方面的優(yōu)勢以及杉巖數(shù)據(jù)卓越的存儲系統(tǒng)設計，該解決方案能夠幫助 IPFS 服務提供商顯著提升性能、穩(wěn)定性并提升投資回報率。其中 Ultrastar DC HC550 HDD 18TB的超大容量以及 Ultrastar Data102 的組合有利于實現(xiàn)集約性的空間設計，使得組建 IPFS集群所需要的機柜空間、電源功耗、硬件成本大大降低。

　　4.聯(lián)手長城超云打造IPFS新范式

　　長城超云與西部數(shù)據(jù)聯(lián)手打造出多款完美貼合IPFS場景的產(chǎn)品級解決方案，在IPFS行業(yè)種得到廣泛的應用。

　　方案主要以西部數(shù)據(jù)高性能大容量企業(yè)級硬盤Ultrastar DC HC550系列的18TB HDD為基礎，設計了異構產(chǎn)品組合的集群測試方案，包括Miner、Worker和Storage，大幅提升了客戶的業(yè)務效率，從而增強了客戶在IPFS領域的核心競爭力。通過優(yōu)越的產(chǎn)品配置與算法調(diào)優(yōu)使得整體效率提升50%以上，同時單T有效算力硬件成本大幅降低。