西部數(shù)據(jù)創(chuàng)新存儲(chǔ)架構(gòu) 助力IPFS突破算力瓶頸

　　4月9日至11日，第九屆中國(guó)電子信息博覽會(huì)(CITE2021)在深圳會(huì)展中心舉辦。同期有多場(chǎng)重磅會(huì)議及技術(shù)論壇開(kāi)幕，其中4月9日舉行的深圳國(guó)際大數(shù)據(jù)與存儲(chǔ)峰會(huì)以及Web3.0中國(guó)峰會(huì)格外引得業(yè)界關(guān)注。

　　西部數(shù)據(jù)展臺(tái)

　　作為世界存儲(chǔ)巨頭，西部數(shù)據(jù)攜旗下一系列存儲(chǔ)產(chǎn)品亮相展會(huì)，尤其是面向未來(lái)的IPFS數(shù)據(jù)存儲(chǔ)解決方案更是亮點(diǎn)十足。西部數(shù)據(jù)公司副總裁兼中國(guó)區(qū)業(yè)務(wù)總經(jīng)理劉鋼也在Web3.0中國(guó)峰會(huì)上為我們帶來(lái)了以“創(chuàng)新存儲(chǔ)架構(gòu)，突破IPFS算力瓶頸”為主題的演講。

　　西部數(shù)據(jù)公司副總裁兼中國(guó)區(qū)業(yè)務(wù)總經(jīng)理劉鋼

　　·企業(yè)級(jí)存儲(chǔ)架構(gòu)面臨挑戰(zhàn) IPFS發(fā)展迅猛

　　我們的世界正全面交由數(shù)字構(gòu)建，大數(shù)據(jù)發(fā)展的尤為迅猛。據(jù)IDC預(yù)測(cè)，到2024年，以HDD為代表的大數(shù)據(jù)預(yù)計(jì)將增長(zhǎng)到1.62ZB。而主要以SSD為介質(zhì)的快數(shù)據(jù)在2024年也將增長(zhǎng)到333EB。相較于HDD大數(shù)據(jù)30%的年增長(zhǎng)率，SSD快數(shù)據(jù)50%的增長(zhǎng)率是非常快的。

　　如果統(tǒng)計(jì)整個(gè)2024年產(chǎn)生的數(shù)據(jù)，總?cè)萘繉��?huì)達(dá)到驚人的143個(gè)ZB，也就是說(shuō)大數(shù)據(jù)和快數(shù)據(jù)加起來(lái)也只有約2 ZB，也就是僅有1.5%的數(shù)據(jù)被存儲(chǔ)。

　　我們經(jīng)常說(shuō)，數(shù)字時(shí)代，數(shù)據(jù)就是石油，為什么這多的數(shù)據(jù)沒(méi)有被存儲(chǔ)下來(lái)，繼而進(jìn)行分析并挖掘其價(jià)值?很重要的一個(gè)原因是存儲(chǔ)架構(gòu)和存儲(chǔ)技術(shù)沒(méi)有及時(shí)地跟上，以至于有很多數(shù)據(jù)沒(méi)有辦法被存儲(chǔ)下來(lái)并及時(shí)使用。

　　現(xiàn)代企業(yè)級(jí)數(shù)據(jù)存儲(chǔ)架構(gòu)正面臨著嚴(yán)峻的挑戰(zhàn)。迅猛的數(shù)據(jù)增長(zhǎng)速度、對(duì)于存儲(chǔ)性能的高要求、更低的總擁有成本(TCO)以及更加環(huán)保的綠色能耗體系等多個(gè)方面的要求亟需存儲(chǔ)架構(gòu)的革新與變化。

　　目前，數(shù)據(jù)的傳輸與訪問(wèn)，是基于HTTP協(xié)議為代表的互聯(lián)網(wǎng)協(xié)議實(shí)現(xiàn)的�；ヂ�(lián)網(wǎng)將計(jì)算機(jī)與智能移動(dòng)終端連接在一起，使得用戶能夠訪問(wèn)存儲(chǔ)其他終端上的海量數(shù)據(jù)。數(shù)據(jù)以計(jì)算機(jī)、終端域名為地址進(jìn)行中心化存儲(chǔ)，帶來(lái)了巨大的流量訪問(wèn)和數(shù)據(jù)傳輸壓力。

　　而IPFS去中心化分布式存儲(chǔ)架構(gòu)將會(huì)有效降低目前基于中心化的云存儲(chǔ)成本，將和去中心化的云計(jì)算一起作為Web3.0的重要基礎(chǔ)設(shè)施，加快推動(dòng)相關(guān)行業(yè)的數(shù)字化轉(zhuǎn)型進(jìn)程，構(gòu)建商業(yè)新場(chǎng)景，促使經(jīng)濟(jì)社會(huì)發(fā)生深刻變革。

　　IPFS 是InterPlanetary File System的縮寫，譯作星際文件系統(tǒng)。簡(jiǎn)單而言，IPFS是一個(gè)內(nèi)容可尋址的對(duì)等超媒體分發(fā)協(xié)議，用戶要尋找的是存儲(chǔ)在某地方的內(nèi)容，這些內(nèi)容分散在不同的服務(wù)器節(jié)點(diǎn)，而不是某個(gè)地址，因此只需確認(rèn)驗(yàn)證內(nèi)容的哈希值，就可以達(dá)到訪問(wèn)目標(biāo)，大大減小了中心存儲(chǔ)的壓力。

　　有了面向未來(lái)的IPFS存儲(chǔ)架構(gòu)，還需要將數(shù)據(jù)進(jìn)一步細(xì)分，這就涉及到了分層存儲(chǔ)。按照數(shù)據(jù)的熱度和使用頻率，我們可以簡(jiǎn)單的將其分為極熱數(shù)據(jù)、熱數(shù)據(jù)、溫?cái)?shù)據(jù)、冷數(shù)據(jù)和極冷數(shù)據(jù)。

　　事實(shí)上，我們很難找到一種存儲(chǔ)介質(zhì)、存儲(chǔ)設(shè)備能夠同時(shí)滿足所有層級(jí)的數(shù)據(jù)存儲(chǔ)需求，對(duì)于不同層級(jí)的數(shù)據(jù)，需要采用的存儲(chǔ)介質(zhì)和存儲(chǔ)的設(shè)備是不一樣的，這樣才能夠既滿足海量數(shù)據(jù)的存儲(chǔ)和對(duì)熱數(shù)據(jù)的快速訪問(wèn)。

　　大數(shù)據(jù)部分主要針對(duì)冷存儲(chǔ)和極冷存儲(chǔ)，業(yè)界通常使用高密度的大容量企業(yè)級(jí)HDD來(lái)進(jìn)行。目前，已經(jīng)進(jìn)化到了18TB容量的高密度硬盤產(chǎn)品。西部數(shù)據(jù)的Ultrastar DC系列硬盤已經(jīng)在多個(gè)云服務(wù)商處得到驗(yàn)證與部署。西部數(shù)據(jù)基于SMR(疊瓦市磁記錄)技術(shù)開(kāi)發(fā)的企業(yè)級(jí)HDD，已經(jīng)做到了20TB的容量，幾家頭部云服務(wù)商部署的硬盤在過(guò)去4年當(dāng)中，已經(jīng)從8TB容量進(jìn)化到了18TB，發(fā)展非常迅速。

　　西部數(shù)據(jù)公司副總裁兼中國(guó)區(qū)業(yè)務(wù)總經(jīng)理劉鋼

　　但更為驚人的是，IPFS服務(wù)商的硬盤容量演進(jìn)速度。在過(guò)去的四個(gè)季度，他們幾乎就走完了傳統(tǒng)云服務(wù)商用時(shí)四年才完成的存儲(chǔ)容量升級(jí)，也就是說(shuō)從8TB進(jìn)化到了18TB。

　　拋開(kāi)升級(jí)速度，無(wú)論是IPFS服務(wù)商，還是傳統(tǒng)云服務(wù)商，使用單盤容量越來(lái)越大的HDD是統(tǒng)一的，為什么大家從8TB不斷升級(jí)至12TB、14TB，繼而到現(xiàn)在的18TB?其實(shí)很簡(jiǎn)單，在同樣存儲(chǔ)容量的情況下，使用18TB硬盤可以大大減少服務(wù)器的數(shù)量，提高存儲(chǔ)密度，從而降低功耗，降低部署成本，最終降低運(yùn)維成本。

　　IPFS存儲(chǔ)與數(shù)據(jù)分層，讓我們有可能使用各種產(chǎn)品的存儲(chǔ)組合，來(lái)滿足用戶各方面、各種存儲(chǔ)場(chǎng)景的需求，繼而解決未來(lái)數(shù)據(jù)時(shí)代的存儲(chǔ)痛點(diǎn)。

　　·西部數(shù)據(jù)領(lǐng)先產(chǎn)品賦能IPFS存儲(chǔ)與計(jì)算集群

　　作為世界領(lǐng)先的存儲(chǔ)架構(gòu)公司、在存儲(chǔ)領(lǐng)域深耕第51年的存儲(chǔ)巨頭，西部數(shù)據(jù)擁有完整的企業(yè)級(jí)存儲(chǔ)產(chǎn)品線。

　　在HDD方面，西部數(shù)據(jù)的SMR技術(shù)已經(jīng)成功應(yīng)用到20TB容量的硬盤上了，一些客戶通過(guò)部署Ultrastar DC HC650 20TB SMR HDD，得到了更低的總體擁有成本(TCO)與更高的存儲(chǔ)密度。全球領(lǐng)先的云存儲(chǔ)服務(wù)商Dropbox是首批測(cè)試驗(yàn)證西部數(shù)據(jù)Ultrastar DC HC650 20TB SMR HDD的公司之一。

　　對(duì)于需要頻繁訪問(wèn)的快數(shù)據(jù)部分，像熱存儲(chǔ)、溫存儲(chǔ)，西部數(shù)據(jù)主要提供了兩種不同類型的SSD產(chǎn)品，像面向極熱存儲(chǔ)的Ultrastar DC SN840 NVMe SSD，主要針對(duì)寫入負(fù)載密集的負(fù)載而設(shè)計(jì)，可以幫助用戶完成高性能的計(jì)算工作。而Ultrastar DC SN640 NVMe SSD更多應(yīng)用到主流的服務(wù)器和云上，適用于讀寫均衡的混合型工作負(fù)載。

　　對(duì)于企業(yè)級(jí)客戶來(lái)說(shuō)，選擇SSD供應(yīng)商需要考慮很多因素，足夠的產(chǎn)能與供應(yīng)能力，足夠低的成本和領(lǐng)先的性能，以及良好的縱向優(yōu)化能力，都是影響用戶購(gòu)買決策的重要方面。

　　而這幾點(diǎn)，恰恰是西部數(shù)據(jù)的優(yōu)勢(shì)。西部數(shù)據(jù)剛剛推出了第6代3D閃存技術(shù)，162層的3D閃存會(huì)進(jìn)一步提高側(cè)面單元密度，相比BiCS5相比，芯片尺寸減小40%，程序性能可以提高兩倍以上，輸入/輸出性能提高約66%。西部數(shù)據(jù)與鎧俠一起投入巨資，擁有領(lǐng)先的閃存產(chǎn)能優(yōu)勢(shì)，占有全球近3分之一的Flash產(chǎn)能。

　　此外，西部數(shù)據(jù)還擁有完全自主的控制器和固件，和NAND Flash縱向集成，有助于性能和穩(wěn)定性的不斷優(yōu)化，確�？蛻舨少�(gòu)的產(chǎn)品在整個(gè)生命周期內(nèi)擁有穩(wěn)定的I/O一致性。

　　在IPFS存儲(chǔ)系統(tǒng)中，“存算分離”是一個(gè)特別重要的特點(diǎn)。也就是說(shuō)存儲(chǔ)集群和計(jì)算集群是分開(kāi)的，兩個(gè)集群的存儲(chǔ)特性有著明顯的區(qū)別。

　　如果使用西部數(shù)據(jù)的18TB HDD，以4U60+18TB的解決方案為例，與傳統(tǒng)的4U36+16TB組合相比，機(jī)柜數(shù)量可以減少約46%，功耗減少約36%，明顯降低部署成本和運(yùn)維成本。

　　目前，西部數(shù)據(jù)已經(jīng)與多家合作伙伴聯(lián)合推出了IPFS存儲(chǔ)解決方案，例如星辰天合、浪潮和西部數(shù)據(jù)共同推出的IPFS存儲(chǔ)系統(tǒng)，使用了西部數(shù)據(jù)Ultrastar DC HC550 18TB HDD、浪潮英信服務(wù)器NF5466M5、XSKY文件存儲(chǔ)系統(tǒng)等關(guān)鍵組件，不僅實(shí)現(xiàn)了快速部署、便捷運(yùn)維，還有助于減少業(yè)務(wù)的異常情況帶來(lái)的損失，大幅提升業(yè)務(wù)收益。

　　在基于分布式存儲(chǔ)的Web3.0架構(gòu)之下，西部數(shù)據(jù)展示了全方位的技術(shù)實(shí)力和相應(yīng)解決方案，賦能IPFS基礎(chǔ)設(shè)施建設(shè)。與業(yè)內(nèi)合作伙伴一起打造的針對(duì)IPFS優(yōu)化的計(jì)算和存儲(chǔ)節(jié)點(diǎn)方案，可以幫助客戶更好的挖掘出大數(shù)據(jù)時(shí)代數(shù)據(jù)的真正價(jià)值。