存儲選擇之道：從分布式存儲到分散式存儲

　　​作者孟秋

　　這是個信息爆炸的年代,人類無時無刻不在制造著各種數(shù)據(jù),留下自己的數(shù)字化足跡。海量照片、網(wǎng)絡(luò)游戲、4G時代成熟的短視頻、5G時代的物聯(lián)網(wǎng)和工業(yè)互聯(lián)網(wǎng),讓數(shù)據(jù)出現(xiàn)了指數(shù)級的增長。市場研究機(jī)構(gòu)IDC預(yù)計(jì),到2025年,全球一年產(chǎn)生的數(shù)據(jù)將高達(dá)175ZB。如果用直觀一點(diǎn)的表述,這個數(shù)據(jù)量將會存滿1879億個1TB的硬盤,全球每人平均持有二十多個這樣的硬盤。

　　圖1:過去十五年全球數(shù)據(jù)增長速度,非結(jié)構(gòu)類數(shù)據(jù)增速遠(yuǎn)超結(jié)構(gòu)類數(shù)據(jù)

　　這就帶來了問題:既要讓這些數(shù)據(jù)存儲在安全可靠的地方,方便隨時調(diào)取,同時還要照顧到數(shù)據(jù)不要泄露,還要做好備份,防止數(shù)據(jù)損壞丟失,究竟應(yīng)該怎樣才能做到?

　　分布式存儲和云服務(wù)

　　分布式存儲的故事并不復(fù)雜。谷歌最早提出來云計(jì)算概念,這是一種分布式算法,用來處理大量搜索數(shù)據(jù)。但電商平臺起家的亞馬遜對于數(shù)據(jù)存儲開發(fā)的獨(dú)特需求讓它走在了前面。2006年亞馬遜推出最早的云服務(wù),利用自己研發(fā)的分布式算法打通各個數(shù)據(jù)端接口,既提供數(shù)據(jù)存儲,也為企業(yè)的數(shù)據(jù)分析提供平臺支持。分布式存儲同時以基礎(chǔ)設(shè)施即服務(wù)(IaaS)和平臺即服務(wù)(PaaS)兩種商業(yè)形態(tài),形成數(shù)字化時代的最早的云服務(wù)業(yè)務(wù)。

　　分布式存儲的特征并不難以理解:既然把數(shù)據(jù)集中起來存儲會因?yàn)榉��?wù)器問題引發(fā)“一損俱損”,那就把服務(wù)器分布到不同地理位置的數(shù)據(jù)中心就可以了。分散獨(dú)立的存儲設(shè)備通過網(wǎng)絡(luò)互聯(lián)進(jìn)行系統(tǒng)關(guān)聯(lián),分布式存儲對外作為一個整體提供存儲服務(wù)。在這一點(diǎn)上,它跟集中式存儲并沒有太多區(qū)別:都是中心化管理,有一個至高無上的管理者。

　　與集中式存儲對硬件有較高要求不同,分布式存儲由數(shù)量眾多且成本相對較低的普通PC服務(wù)器聯(lián)網(wǎng)而成,節(jié)點(diǎn)擴(kuò)展性很強(qiáng)且門檻比較低,擴(kuò)展的邊界幾乎不受限制,數(shù)據(jù)容量大,副本可以多處備份,這就解決了集中式存儲擴(kuò)展成本較高的問題。同時,因?yàn)楣?jié)點(diǎn)較多而且做到了空間上的廣泛分布,一個節(jié)點(diǎn)的損壞不會讓整個系統(tǒng)宕機(jī)。螞蟻金服旗下的支付寶就利用了這種分布式存儲的特點(diǎn),采用“三地五中心”存儲的方式,在三座城市部署五個數(shù)據(jù)中心。如果某個中心發(fā)生故障,支付寶就將故障區(qū)域的流量切換到正常的機(jī)房。

　　在信息整合上,分布式存儲得以設(shè)立多個節(jié)點(diǎn),打通數(shù)據(jù)之間的關(guān)聯(lián)。但是中心化的處理方式對云服務(wù)商的計(jì)算能力和軟件集成要求很高,因?yàn)樾枰�不斷通過軟件迭代提高數(shù)據(jù)的容錯率,還需要對各種數(shù)據(jù)進(jìn)行分析,從而提供數(shù)據(jù)衍生服務(wù)。云計(jì)算就是在大數(shù)據(jù)存儲的基礎(chǔ)上誕生的衍生業(yè)務(wù)。在這一存儲基礎(chǔ)上衍生的增值業(yè)務(wù),成為云服務(wù)大廠的重要收入來源。

　　分布式存儲也有自己在商業(yè)上的缺陷。由于數(shù)據(jù)分散在各個節(jié)點(diǎn),導(dǎo)致它的延時性不如集中式存儲出色,數(shù)據(jù)容錯性較弱,數(shù)據(jù)安全不易保證,為此行業(yè)內(nèi)通過軟件設(shè)計(jì)提升分布式存儲的標(biāo)準(zhǔn)化程度,同時嘗試解決痛點(diǎn)問題,軟件定義存儲(SDS)被認(rèn)為是分布式存儲的主要形態(tài),通過軟件設(shè)計(jì)來提高分布式存儲的自動化程度,同時提供接口的標(biāo)準(zhǔn)化管理,支持多種標(biāo)準(zhǔn)協(xié)議,實(shí)現(xiàn)數(shù)據(jù)的寫入,讓分布式存儲效率大為提升。

　　與集中式存儲所面對的結(jié)構(gòu)性數(shù)據(jù)——即能夠用數(shù)據(jù)或統(tǒng)一結(jié)構(gòu)加以表示的信息,如財(cái)富報(bào)表、地址和電話號碼等——不同,分布式存儲的內(nèi)容主要是非結(jié)構(gòu)性數(shù)據(jù),包括圖片、視頻、音頻和文檔等,類型更加豐富。為了防止數(shù)據(jù)損壞或者丟失,一般在不同節(jié)點(diǎn)采取備份的做法,但其安全性取決于企業(yè)為數(shù)據(jù)安全建立的防火墻的技術(shù)能力。事實(shí)上,很難哪一家企業(yè)能夠確保自身萬無一失,從微軟到谷歌,都有過數(shù)據(jù)庫被侵入導(dǎo)致數(shù)據(jù)泄露的記錄。

　　圖2:從集中式到分布式,中心化存儲的演進(jìn)

　　當(dāng)前公有云市場已經(jīng)出現(xiàn)壟斷傾向,這對數(shù)據(jù)安全、用戶需求都造成了一定的影響。需要一種新的存儲技術(shù)對這些現(xiàn)狀加以改變。區(qū)塊鏈技術(shù)提供了一個新的答案。

　　區(qū)塊鏈加持的“分散式存儲”

　　從集中式存儲到分布式存儲,數(shù)據(jù)存儲單元本身沒有發(fā)生變化,但是存儲技術(shù)逐漸向軟件進(jìn)化,通過軟件技術(shù)的提升,實(shí)現(xiàn)對數(shù)據(jù)更加便捷的存取和調(diào)用。區(qū)塊鏈作為一種并不讓人陌生的軟件技術(shù),應(yīng)用在存儲方面,并不奇怪。但是從存儲管理的角度來說,集中式存儲本身是中心化管理的,分布式存儲看似服務(wù)器分布在不同區(qū)域,但它對外依舊通過單一的云服務(wù)商提供服務(wù)。中心化是集中式存儲和傳統(tǒng)分布式存儲的共同特點(diǎn)。

　　區(qū)塊鏈作為一種并不讓人陌生的軟件技術(shù),應(yīng)用在存儲方面,并不奇怪。區(qū)塊鏈技術(shù)應(yīng)用下的存儲,與傳統(tǒng)分布式存儲有類似之處,其數(shù)據(jù)均存于不同地理位置的存儲器當(dāng)中。但區(qū)塊鏈的去中心化特征,讓這種新型存儲模式與中心式式存儲有著截然不同的特征。在這一領(lǐng)域研究者M(jìn)emoLabs將用一個新名詞定義了這一存儲技術(shù):分散式存儲。

　　分散式存儲是一個存在著無數(shù)節(jié)點(diǎn)的存儲網(wǎng)絡(luò)。如果將這些節(jié)點(diǎn)想象成數(shù)據(jù)存儲器,它既包括數(shù)據(jù)中心的服務(wù)器、存儲陣列這些“主流”存儲設(shè)備,也包括“邊緣設(shè)備”,閑置的手機(jī)、電腦、硬盤、寫字樓的電腦機(jī)房……任何能夠?qū)懭霐?shù)據(jù)并存儲的硬件,都有可能成為一個節(jié)點(diǎn)。數(shù)據(jù)在各個節(jié)點(diǎn)之間進(jìn)行點(diǎn)對點(diǎn)的傳輸。區(qū)塊鏈的分布式記賬確保每一次信息寫入寫出都能夠進(jìn)行記錄,體現(xiàn)出可溯源和不可篡改的特點(diǎn)。數(shù)據(jù)通過采用密碼學(xué)相關(guān)技術(shù),通常指哈希算法和加密、簽名技術(shù),進(jìn)行加密。在共識機(jī)制監(jiān)管下,使保密性不高的邊緣存儲設(shè)備也能確保數(shù)據(jù)安全。而相比較投資高昂的數(shù)據(jù)中心和相對廉價(jià)的服務(wù)器,邊緣設(shè)備的存儲成本更低,但擴(kuò)展性更強(qiáng),從而讓分散式存儲成為未來數(shù)據(jù)存儲技術(shù)的重要發(fā)展方向。

　　在商業(yè)模式上,分散式存儲與中心化的存儲方式也極為不同。中心化存儲延續(xù)了傳統(tǒng)商業(yè)模式中服務(wù)提供者-消費(fèi)者之間的買賣關(guān)系。但分散式存儲并沒有一個中心化的服務(wù)提供者。當(dāng)前部分分散式存儲服務(wù)商引入了“礦工”機(jī)制,由其通過智能合約,對整個系統(tǒng)的交易服務(wù)進(jìn)行維護(hù)。它們負(fù)責(zé)將交易內(nèi)容生成區(qū)塊,并獲得代幣獎勵。用戶則以代幣的方式支付服務(wù)費(fèi)給存儲提供者和礦工。

　　跟集中式和分布式存儲相比,分散式存儲背后運(yùn)行的邏輯也非常不同。

　　普通的C端用戶而言可能對這一點(diǎn)感受不深。從使用方式上看,分散式存儲與此前的云存儲看上去差異并不算大。用戶從客戶端發(fā)出存儲要求后,分散式存儲機(jī)制會根據(jù)共識機(jī)制對存儲參數(shù)進(jìn)行計(jì)算,自動生成智能合約。這份智能合約隨機(jī)匹配給用戶相關(guān)的存儲節(jié)點(diǎn)和維護(hù)節(jié)點(diǎn)。隨后存儲的文件,經(jīng)過客戶端加密,切片后存入存儲節(jié)點(diǎn)中。用戶如果需要調(diào)閱相關(guān)的存儲文檔,需要將自己的私鑰與客戶端加密的公鑰進(jìn)行匹配,確保安全后才能下載。

　　分散式存儲用戶上傳和下載理論上都需要付費(fèi)。在具體應(yīng)用中如何付費(fèi),有賴于分散式存儲應(yīng)用開發(fā)商根據(jù)自己的實(shí)際運(yùn)營模式收取。例如,部分已經(jīng)運(yùn)行的分散式存儲系統(tǒng)一樣采用包年制或者包月制的付費(fèi)方式,另外也有某些系統(tǒng)采用一次性付費(fèi)的方式。這些付費(fèi)方式都是實(shí)驗(yàn)性質(zhì)的,目前其可持續(xù)性未能獲得充分證明。不過,由于存儲節(jié)點(diǎn)通常是閑置的邊緣存儲資源,而不是一次性投資的大型數(shù)據(jù)中心,分散式存儲服務(wù)提供者和維護(hù)者無需重金投入,其存儲資源的建設(shè)和開發(fā)成本較低,存儲用戶所支付的費(fèi)用也相對較低。一般而言,現(xiàn)有收費(fèi)一般是中心化存儲費(fèi)用的一半左右。

　　表1:中心化存儲和分散式(去中心化存儲)的結(jié)構(gòu)差異

　　Memoriae:痛點(diǎn)和解決方案

　　分散式存儲在具有極高不確定性的邊緣設(shè)備中快速進(jìn)行數(shù)據(jù)讀寫,如何確保其具備高度的可用性呢?Memo Labs從2018年就嘗試開發(fā)的一個基于區(qū)塊鏈的分散式數(shù)據(jù)存儲系統(tǒng),讓我們有了管窺這種存儲技術(shù)的機(jī)會。

　　分散式存儲出現(xiàn),當(dāng)下存儲技術(shù)成本高、延時高、壟斷性和安全與效率之間難以平衡等痛點(diǎn)似乎有了解決的可能,且去中心化特點(diǎn)又改變了中心化存儲的壟斷問題。但新的痛點(diǎn)又產(chǎn)生了:這些邊緣設(shè)備具有安全性、可靠性較弱的問題。區(qū)塊鏈本身的分布式記賬的特點(diǎn),又容易讓分散式存儲平臺面臨處理大量冗余,效率過低的問題。

　　Memo Labs對于這些問題,開發(fā)了一套區(qū)塊鏈存儲技術(shù)Memoriae(以下簡稱MEMO)予以解決。

　　在架構(gòu)上,MEMO由區(qū)塊鏈、管理設(shè)備、邊緣存儲設(shè)備以及用戶設(shè)備組成,總體技術(shù)架構(gòu)分為區(qū)塊鏈層、管理層、存儲層和用戶設(shè)備四部分。

　　數(shù)據(jù)存儲也以此進(jìn)行了分層存儲,以便有效降低冗余。MEMO在每一層提供不同的數(shù)據(jù)管理方案:區(qū)塊鏈層用來存儲智能合約、賬戶和交易等信息,僅存儲核心數(shù)據(jù)來保障更高的可拓展性;在管理層基于副本技術(shù)對元數(shù)據(jù)進(jìn)行容錯,大幅提升系統(tǒng)的訪問處理能力;在存儲層則采用副本、糾刪碼與其他數(shù)據(jù)冗余技術(shù)來保障邊緣存儲設(shè)備上的數(shù)據(jù)的可靠性,同時獨(dú)創(chuàng)的數(shù)據(jù)恢復(fù)方法RAFI能夠有效縮短數(shù)據(jù)修復(fù)總時間,確保一個節(jié)點(diǎn)損壞后,在其他節(jié)點(diǎn)能夠迅速提供數(shù)據(jù)存儲修復(fù)。最后的用戶層則是實(shí)際數(shù)據(jù)存儲終端。數(shù)據(jù)進(jìn)行加密,切片后寫入存儲終端。

　　圖3:MEMO的分層,從內(nèi)到外從小到大分別是區(qū)塊鏈層、管理層、存儲層和用戶設(shè)備

　　MEMO僅使用區(qū)塊鏈記錄最為關(guān)鍵與穩(wěn)定的信息,如用戶、存儲者與維護(hù)者的角色信息及其關(guān)聯(lián)信息,即智能合約信息;這類數(shù)據(jù)容量相對于用戶存儲數(shù)據(jù)而言很小。而邊緣存儲設(shè)備僅用于存儲用戶實(shí)際存儲數(shù)據(jù)。

　　相對于傳統(tǒng)的區(qū)塊鏈而言,MEMO的分區(qū)和劃層,讓整個存儲構(gòu)架更加簡潔與高效,重要數(shù)據(jù)與一般存儲數(shù)據(jù)進(jìn)行了區(qū)分。同時,由于采用了完全的去中心化措施,數(shù)據(jù)流動的出口帶寬限制不復(fù)存在,有利于提升響應(yīng)速度。

　　更多的痛點(diǎn)解決方案

　　在安全、效率和可靠性方面,MEMO主要在通過技術(shù)實(shí)現(xiàn)了維護(hù)者、存儲者和用戶三者之間的耦合,以確保安全、高效和可靠。這種耦合主要表現(xiàn)在以下方面:

　　第三,首先,MEMO在整個分散式存儲中引入了用戶(User)、提供者(Provider)和維護(hù)者(Keeper)三個角色,采用鏈下共識,使整個分散式存儲的架構(gòu)變得相對穩(wěn)定。相對于中心化的存儲機(jī)制,分散式存儲的維護(hù)者是一個新的角色。集中式和傳統(tǒng)分布式存儲通常存在用戶和提供者兩個角色,提供者自身也承擔(dān)維護(hù)者的角色。但是在MEMO體系中,維護(hù)者的角色與提供者分離,將大大減輕提供者的工作壓力。維護(hù)者通常負(fù)責(zé)保護(hù)MEMO的運(yùn)行和安全維護(hù),存儲智能合約,通過挑戰(zhàn)提供者達(dá)成管理共識,形成交易記錄,即所謂“時空用量證明”,并以此獲得酬勞。

　　圖4:去中心化的MEMO體系中的三類參與者

　　其次,應(yīng)用了密碼學(xué)技術(shù),如對稱式加解密、防碰撞哈希和數(shù)字簽名等技術(shù)對產(chǎn)品在用戶端進(jìn)行加密,將暴力破解加密的成功幾率降至最低。即使是存儲提供者自身也無法讀取用戶數(shù)據(jù),這一點(diǎn)相對中心化存儲對用戶更為友好。MEMO同時提供了副本和糾刪碼兩套冗余機(jī)制,以應(yīng)對分散式存儲節(jié)點(diǎn)不穩(wěn)定的特征,有效防止節(jié)點(diǎn)損壞后數(shù)據(jù)丟失的問題。

　　再次,為了確保在去中心化的生態(tài)下提供者和維護(hù)者本身的信用,MEMO特地設(shè)定了一套信用機(jī)制。這套機(jī)制的主要支柱是通過積分增減的方式,對提供者和維護(hù)者進(jìn)行獎懲。提供者和維護(hù)者本身還需要以代幣方式進(jìn)行資金質(zhì)押,防止欺詐行為發(fā)生,這也是信用體系的另外一條支柱。

　　最后,MEMO是個開源式的系統(tǒng),可以通過跨鏈服務(wù)節(jié)點(diǎn)(MCS)支持外部公鏈接入,甚至可以使用外部公鏈的代幣進(jìn)行支付。這樣可以實(shí)現(xiàn)與公鏈兼容,擴(kuò)大節(jié)點(diǎn)和應(yīng)用。

　　從上述技術(shù)應(yīng)用來看,MEMO的技術(shù)邏輯在于,在維持去中心化存儲的基本原則之下,致力于針對各種現(xiàn)實(shí)問題提供有效解決方案。不過,MEMO并不是這一方向的唯一探索者。

　　分散式存儲的入局者

　　在MEMO之前,分散式存儲已有入場者。部分加密數(shù)字貨幣將分散式存儲作為代幣的應(yīng)用場景,通過代幣激勵礦工們加入自己的區(qū)塊鏈,實(shí)現(xiàn)節(jié)點(diǎn)的擴(kuò)張,最終構(gòu)建分散式存儲市場。2015年啟動的Sia是最早嘗試?yán)�用全球未充分利用的硬盤容量來創(chuàng)建存儲市場的區(qū)塊鏈系統(tǒng)。它的出現(xiàn)塑造了分散式存儲的一些基本特征,例如采用了智能合約并將其存在區(qū)塊鏈中;在用戶端對數(shù)據(jù)進(jìn)行加密,文件切片并分別存儲于不同節(jié)點(diǎn)當(dāng)中,避免節(jié)點(diǎn)故障導(dǎo)致數(shù)據(jù)丟失等等。

　　在2017年跟進(jìn)的Filecoin采用了IPFS協(xié)議作為基礎(chǔ)設(shè)施。IPFS是一種點(diǎn)對點(diǎn)分布式網(wǎng)絡(luò)協(xié)議,有望成為新一代互聯(lián)網(wǎng)架構(gòu)協(xié)議。Filecoin是IPFS的激勵層,礦工可以通過提供檢索、存儲和區(qū)塊打包等方式獲得代幣報(bào)酬,以此發(fā)掘海量邊緣存儲設(shè)施。Filecoin提出了復(fù)制證明和時空證明,允許提供者證明數(shù)據(jù)已經(jīng)存入相應(yīng)設(shè)備中,強(qiáng)化了網(wǎng)絡(luò)安全和數(shù)據(jù)安全保護(hù)。但Filecoin在數(shù)據(jù)修復(fù)和延時問題上表現(xiàn)較弱。

　　和Filecoin同期出現(xiàn)的Storj沒有前者那樣的完全去中心化,維持了部分中心化的節(jié)點(diǎn),稱之為“衛(wèi)星”(Satellite),以此對系統(tǒng)進(jìn)行維護(hù)管理。這是一個相對簡單有效的技術(shù),對提升網(wǎng)絡(luò)體驗(yàn)和降低技術(shù)成本均有幫助。但中心化的衛(wèi)星節(jié)點(diǎn)則可能使數(shù)據(jù)流量受到一定限制。

　　入場者中Arweave是比較有特色的分散式存儲玩家。它提出了數(shù)據(jù)永存的概念,理論來源于區(qū)塊鏈可以不斷添加新的數(shù)據(jù),并一直持續(xù)下去,但這理論有待驗(yàn)證。而且,如果長期持續(xù),單鏈可能因?yàn)檫^大而無法維護(hù)和存儲原有數(shù)據(jù)。Arweave引入了RadomX算法,激勵存儲提供者(礦工)來保存更多的區(qū)塊。

　　MEMO的出現(xiàn)在某種程度上集成了上述系統(tǒng)的優(yōu)勢。它的核心思路是將關(guān)鍵信息(智能合約)存入?yún)^(qū)塊鏈,確保了它的安全和可靠。通過數(shù)據(jù)切片,在客戶端以密鑰加密后分散存儲,保證了各個節(jié)點(diǎn)的數(shù)據(jù)的安全和私密性。在修復(fù)數(shù)據(jù)損失上,采用了自己獨(dú)創(chuàng)的RAFI,RAFI以實(shí)時查詢的方式,快速發(fā)現(xiàn)具有較高丟失風(fēng)險(xiǎn)的數(shù)據(jù),有效縮短數(shù)據(jù)修復(fù)總時間。

　　多個MEMO設(shè)備可形成集群效應(yīng),實(shí)現(xiàn)云存儲平臺的數(shù)據(jù)全局共享、統(tǒng)一存儲空間管理、自動負(fù)載均衡。在文件實(shí)現(xiàn)跨區(qū)域跨網(wǎng)絡(luò)存儲的情況下,能夠?qū)崿F(xiàn)數(shù)據(jù)的高效存儲和調(diào)用。在面臨海量數(shù)據(jù)浪潮時,MEMO可以提供充分激勵,鼓勵存儲提供者加入,實(shí)現(xiàn)迅速的擴(kuò)容。

　　各路神仙在分散式存儲問題上大顯身手的時候已到來,2020年各個分散式存儲系統(tǒng)先后推出了自己的產(chǎn)品,意味著分散式存儲將正式進(jìn)入市場運(yùn)作和競爭階段。

　　分散式存儲的商業(yè)探索

　　中國信通院的數(shù)據(jù)顯示,2019 年,以 IaaS、PaaS 和SaaS 為代表的全球云計(jì)算市場規(guī)模達(dá)到 1883 億美元,到2023年將會達(dá)到3500億美元。

　　圖5:市場研究機(jī)構(gòu)Gartner在2020年對2018-2023年云計(jì)算市場的統(tǒng)計(jì)和預(yù)測

　　但是,云計(jì)算以重資產(chǎn)和高技術(shù)作為準(zhǔn)入門檻。這個起點(diǎn)相當(dāng)高,不是誰都能輕易玩得起。云計(jì)算市場呈現(xiàn)出高度的寡頭化。在公有云存儲市場,亞馬遜、微軟、谷歌、阿里巴巴和騰訊控制了全球近八成的市場,形成了中心化存儲在當(dāng)前不可撼動的市場優(yōu)勢。分散式存儲盡管在技術(shù)上和理論上有著相對優(yōu)勢,但短期內(nèi)還難以跟大廠們在市場份額上競爭,也不可能在應(yīng)用上迅速取代中心化存儲。它需要探索出一條新的商業(yè)路線,才能在這個不斷增長的市場里找到自己發(fā)展的藍(lán)海。

　　分散式存儲要開拓市場,最根本要素的是實(shí)現(xiàn)節(jié)點(diǎn)的擴(kuò)張。只有通過越來越多的節(jié)點(diǎn)加入,才能夠產(chǎn)生足夠的交易,提升數(shù)據(jù)的安全性,推動滾動式發(fā)展。這就是互聯(lián)網(wǎng)平臺發(fā)展理論中常說的“引爆網(wǎng)絡(luò)效應(yīng)”。吸引節(jié)點(diǎn)的加入,則需要有有效的激勵機(jī)制。以區(qū)塊鏈為底層技術(shù)的的分散式存儲并不缺乏這一機(jī)制。通過代幣的發(fā)行和流通,即鼓勵礦工通過挖礦不斷生成區(qū)塊,可以維持區(qū)塊鏈的運(yùn)轉(zhuǎn)和擴(kuò)張。但是,鑒于分散式存儲所需要的存儲資源分布在廣泛的邊緣存儲設(shè)備,例如PC、智能手機(jī)、閑置的服務(wù)器甚至小區(qū)物業(yè)機(jī)房硬盤空余的分區(qū)當(dāng)中,每個存儲設(shè)備的所有者對于獲取存儲收入和礦工利潤的期望不一。算力在存儲和挖礦之間如何進(jìn)行分配是個問題。如果需要實(shí)現(xiàn)節(jié)點(diǎn)的快速擴(kuò)張,如何實(shí)現(xiàn)激勵機(jī)制與合適的礦工人選進(jìn)行匹配,現(xiàn)在還在探索中。

　　當(dāng)前,分散式存儲的主要玩家是Filecoin和Storj。另外一個入局的Arweave更加強(qiáng)調(diào)“永久存儲”和一次付費(fèi),其模式與Filecoin以及Storj不同。Filecoin獲得資本關(guān)注,主網(wǎng)于2020年10月啟動,截至當(dāng)年底節(jié)點(diǎn)發(fā)展到近千個。但Filecoin對于硬件配置要求過高,普通的PC難以承受,其節(jié)點(diǎn)主要來自礦機(jī)商。Filecoin的另外一個問題,則是響應(yīng)速度太慢,影響到了數(shù)據(jù)存儲和應(yīng)用體驗(yàn)。

　　在節(jié)點(diǎn)的迅速擴(kuò)散上,Storj的去中心化云存儲平臺Tardigrade進(jìn)展更加迅速。商用的Tardigrade到目前數(shù)量超過6200個,節(jié)點(diǎn)遍布全球85個不同國家或地區(qū)。已公布的網(wǎng)絡(luò)總存儲量為2PB(2048TB)。實(shí)際存儲總量根據(jù)其節(jié)點(diǎn)擴(kuò)張速度來看,可能遠(yuǎn)超。Storj 主要對標(biāo)亞馬遜 S3 存儲平臺,整合利用閑置資源輸出為標(biāo)準(zhǔn)統(tǒng)一的產(chǎn)品,用普通PC即可挖礦,對于C端存儲提供者相對友好,因而其節(jié)點(diǎn)和存儲數(shù)量上升較快。Storj的存儲價(jià)格比較有競爭力,是其對標(biāo)平臺的一半左右。整體來看Storj是分散式存儲商業(yè)開發(fā)的一種可行方式。

　　Storj有一個小小缺陷,來自它使用的衛(wèi)星節(jié)點(diǎn),使得整個平臺的去中心化程度不夠。盡管Storj解釋稱,衛(wèi)星節(jié)點(diǎn)其實(shí)是服務(wù)器集群,但是仍舊引發(fā)市場對節(jié)點(diǎn)損壞可能帶來數(shù)據(jù)損失的擔(dān)憂,且相對中心化的存儲平臺對流量產(chǎn)生一定限制,可能帶來數(shù)據(jù)上傳的瓶頸。

　　圖6: Storj白皮書上關(guān)于衛(wèi)星節(jié)點(diǎn)描述的圖

　　MEMO的商業(yè)價(jià)值

　　Memo從帶寬流量、數(shù)據(jù)安全與使用成本三個角度進(jìn)行技術(shù)研發(fā),主要是設(shè)計(jì)了數(shù)據(jù)完整性驗(yàn)證方案,通過數(shù)據(jù)分片,生成驗(yàn)證標(biāo)簽,在讀取時進(jìn)行對照驗(yàn)證,可以實(shí)現(xiàn)快速驗(yàn)證,迅速在存儲節(jié)點(diǎn)轉(zhuǎn)發(fā)流量,提升了響應(yīng)速度,無需像Storj那樣經(jīng)過可信節(jié)點(diǎn)轉(zhuǎn)發(fā)。這樣可以降低成本,同時維持Memoriae的去中心化特征。另一方面,Memoriae獨(dú)有的數(shù)據(jù)恢復(fù)技術(shù)RAFI則保證了數(shù)據(jù)的快速修復(fù),這對于提升用戶體驗(yàn),達(dá)成交易也有著重要的商業(yè)價(jià)值。

　　在未來的存儲市場中,企業(yè)數(shù)據(jù)將會占據(jù)存儲數(shù)據(jù)的絕大部分。除了結(jié)構(gòu)化數(shù)據(jù)因其重要性和數(shù)據(jù)體量較小,使用集中式存儲經(jīng)濟(jì)上和技術(shù)上比較合理,其余數(shù)據(jù)理論上均可以使用分散式進(jìn)行存儲。MemoLab本身也在致力于與多方開展合作,構(gòu)建并完善MEMO生態(tài),例如構(gòu)建金融專屬分散式云存儲平臺、醫(yī)療大數(shù)據(jù)底層服務(wù)平臺、能源勘探數(shù)據(jù)的備份與歸檔和工業(yè)物聯(lián)網(wǎng)等。其余企業(yè)級的賽道也包括短視頻、網(wǎng)游和社交媒體數(shù)據(jù)等。分散式存儲如能在響應(yīng)速度上獲取對中心化的分布式存儲的優(yōu)勢,那么它在大量熱數(shù)據(jù)(如工業(yè)物聯(lián)網(wǎng)、網(wǎng)游和社交媒體等賽道產(chǎn)生的實(shí)時高頻數(shù)據(jù))的存儲市場上必然有迅速成長的空間。

　　不過,在推進(jìn)B2B的合作伙伴構(gòu)建時,分散式云存儲的倡議者也需要注意到,合作伙伴中應(yīng)該包括基于分散式的存儲技術(shù)上的數(shù)據(jù)分析及應(yīng)用開發(fā)方。MEMO在構(gòu)建生態(tài)時,除了要選擇好應(yīng)用場景和賽道,還需要提升開源式分布系統(tǒng)與應(yīng)用開發(fā)者之間的合作。但是,在缺少一個中心化運(yùn)營者推動的情況下,開發(fā)者、系統(tǒng)本身以及存儲企業(yè)三者之間的關(guān)系,還需要在市場競爭中繼續(xù)摸索。

　　最后需要關(guān)注的問題是監(jiān)管。除了分散式存儲帶來數(shù)據(jù)大范圍流動這個敏感問題之外,發(fā)行代幣帶來的金融風(fēng)險(xiǎn)問題,也是區(qū)塊鏈監(jiān)管的問題之一。目前這兩個問題已有初步的解決方案,即建立“主權(quán)區(qū)塊鏈”,增加了國家主權(quán)、政府監(jiān)督、技術(shù)干預(yù)、非完全去中心化等注入有主權(quán)意志的特性。具體的做法是依據(jù)上述特性所制定的規(guī)則,嵌入?yún)^(qū)塊鏈的共識機(jī)制當(dāng)中。需要注意的是這一個市場和監(jiān)管博弈的過程,要達(dá)到監(jiān)管穩(wěn)定需要一段漫長的時間。

　　存儲市場未來的發(fā)展空間將會極其廣闊。以區(qū)塊鏈為底層技術(shù)的分散式存儲開辟了一條新的存儲路徑,它在這個市場中必然會獲得屬于自己的市場份額。盡管現(xiàn)在各種分散式存儲技術(shù)粉墨登場,但還沒有能夠獲得市場的檢驗(yàn)。理論上看,MEMO能夠克服當(dāng)前分散式存儲技術(shù)的一些痛點(diǎn),但它能否繼續(xù)迭代和在市場上立腳,有賴于它能否推動有效的市場實(shí)踐。在這種情況下,它的技術(shù)是否更加符合商業(yè)邏輯,它的合作伙伴是否能夠開發(fā)出更加符合市場需求的應(yīng)用,將決定它最終是否成為分散式存儲市場的先驅(qū)和中堅(jiān)力量。

　　不論如何,市場大門在緩緩打開,新的風(fēng)口來臨,最早的布局者將面臨著讓人激動不已的世界。