公有云也“All-Flash”? 華為云極速IO云硬盤讓云存儲(chǔ)進(jìn)入微秒時(shí)代

　　文/ 高端存儲(chǔ)知識(shí)

　　Gartner在2018年Market Insight: Preparing for the SSD Rise and HDD Demise一文中指出：當(dāng)閃存介質(zhì)降到HDD每GB平均銷售價(jià)格(ASP)的三倍時(shí)，閃存技術(shù)通常會(huì)出現(xiàn)一個(gè)拐點(diǎn)，會(huì)加速取代HDD。

　　因此，Gartner預(yù)測(cè)，2023年，所有的數(shù)據(jù)中心的10,000rpm的HDD幾乎都被SSD代替。Gartner建議，現(xiàn)在就停止在數(shù)據(jù)中心環(huán)境中使用15,000 rpm和10,000 rpm HDD技術(shù)。

　　而另一方面，根據(jù)IDC的預(yù)測(cè)，2025年全球的數(shù)據(jù)圈將從2018年的33ZB狂漲到175ZB。

　　而這大量的數(shù)據(jù)都在公有云上。這個(gè)其實(shí)也容易理解，因?yàn)殡S著5G的普及，以后移動(dòng)網(wǎng)絡(luò)不再是瓶頸，所有的終端設(shè)備產(chǎn)生的數(shù)據(jù)將大部分保存在公有云上。

　　如此海量的數(shù)據(jù)要保存和處理，傳統(tǒng)的存儲(chǔ)架構(gòu)肯定是不行的(不過(guò)公有云采用傳統(tǒng)存儲(chǔ)的本來(lái)就不多)，分布式存儲(chǔ)，甚至是All-Flash的分布式存儲(chǔ)，將是未來(lái)公有云的主流存儲(chǔ)架構(gòu)。

　　正是看到這樣的趨勢(shì)，華為云順勢(shì)而發(fā)，在7月初發(fā)布了云存儲(chǔ)All-Flash戰(zhàn)略，并推出了全新一代極速IO云硬盤。極速IO云硬盤基于華為自研的芯片，采用大量針對(duì)Flash設(shè)計(jì)的原生算法，單盤可以達(dá)到100萬(wàn)IOPS，時(shí)延低至100微秒以下。

　　相比華為云原來(lái)提供的超高IO云硬盤，極速IO云硬盤的IOPS、帶寬、時(shí)延方面都有巨大的提升——特別是時(shí)延，降低了90%，使得云盤從ms時(shí)代直接進(jìn)入μs時(shí)代，就像使用本地SSD盤一樣。

　　為什么有這么大的差異呢?其實(shí)，華為云極速IO云硬盤是引擎、架構(gòu)、芯片、算法、AI等多項(xiàng)技術(shù)融合的成果。

　　華為云的智能數(shù)據(jù)底座包括五個(gè)部分：引擎、架構(gòu)、芯片、算法和AI，也可以概括為“兩個(gè)創(chuàng)新+三個(gè)加持”。“兩個(gè)創(chuàng)新”為全新Flash-Native存儲(chǔ)引擎和全棧架構(gòu)創(chuàng)新，而“三個(gè)加持”則是全系列自研芯片、硬核數(shù)學(xué)算法以及AI。

　　全新Flash-Native存儲(chǔ)引擎

　　采用Flash友好的數(shù)據(jù)布局，實(shí)現(xiàn)了智能全局FTL完成全局磨損均衡，可以智能控制垃圾數(shù)據(jù)回收，大幅度減少了SSD寫放大，使得SSD壽命提升5倍以上，可靠性達(dá)到了11個(gè)9。

　　全新架構(gòu)創(chuàng)新

　　全棧架構(gòu)創(chuàng)新，實(shí)現(xiàn)了數(shù)據(jù)IO和控制的分離，通過(guò)芯片重構(gòu)數(shù)據(jù)讀寫，軟件實(shí)現(xiàn)智能調(diào)度，例如網(wǎng)卡可以直接寫數(shù)據(jù)到SSD介質(zhì)，無(wú)需CPU參與;可以利用專用的ASIC芯片進(jìn)行數(shù)據(jù)的EC、壓縮計(jì)算，這樣原有軟件消耗的60%的CPU可以通過(guò)網(wǎng)卡、ASIC來(lái)完成，大幅度提升了整個(gè)軟件的性能。

　　全系列自研芯片加持

　　自研CPU：華為云存儲(chǔ)充分發(fā)揮鯤鵬920系列芯片在多核、低功耗等方面的優(yōu)勢(shì)，實(shí)現(xiàn)了免鎖多核調(diào)度和高并發(fā)性能和綠色節(jié)能。鯤鵬920芯片采用了7nm的制造工藝，在典型主頻下，芯片的SPECint Benchmark評(píng)分超過(guò)930分，超出業(yè)界標(biāo)桿25%，能效比優(yōu)于業(yè)界標(biāo)桿30%。鯤鵬920芯片主頻可達(dá)2.6GHz，單芯片可支持64核。該芯片集成8通道DDR4，內(nèi)存帶寬超出業(yè)界主流46%;芯片集成100G RoCE以太網(wǎng)卡功能，支持PCIe4.0及CCIX接口，可提供640Gbps總帶寬，單槽位接口速率為業(yè)界主流速率的兩倍;

　　自研網(wǎng)卡：RDMA網(wǎng)絡(luò)已經(jīng)成為人工智能、科學(xué)計(jì)算等高性能計(jì)算、存儲(chǔ)業(yè)務(wù)的必備技術(shù)，華為基于自研網(wǎng)卡突破大規(guī)模RDMA網(wǎng)絡(luò)擁塞控制技術(shù)，支持1萬(wàn)+節(jié)點(diǎn)規(guī)模，同時(shí)大幅降低網(wǎng)絡(luò)擁塞，長(zhǎng)尾時(shí)延降低30%以上。

　　硬核算法加持

　　EC：云存儲(chǔ)為了應(yīng)對(duì)數(shù)據(jù)從PB級(jí)向EB級(jí)演進(jìn)挑戰(zhàn)，通過(guò)存儲(chǔ)的核心數(shù)據(jù)冗余編碼技術(shù)EC算法，可根據(jù)存儲(chǔ)集群規(guī)模自動(dòng)調(diào)整冗余策略，一方面相對(duì)副本寫帶寬大幅提升，同時(shí)優(yōu)化數(shù)據(jù)重構(gòu)下的帶寬，相對(duì)傳統(tǒng)三副本冗余方式整體帶寬提升3X。

　　為了進(jìn)一步提升數(shù)據(jù)存儲(chǔ)效率，華為全面優(yōu)化了壓縮算法，可以根據(jù)不同的用戶數(shù)據(jù)特征進(jìn)行變長(zhǎng)及數(shù)據(jù)差量壓縮，數(shù)據(jù)壓縮率相對(duì)傳統(tǒng)算法提升3倍;

　　SSD LDPC算法：在華為SSD存儲(chǔ)中，華為率先引入LDPC算法(Low Density Parity Check，低密度奇偶校驗(yàn))，并依托華為強(qiáng)大的算法團(tuán)隊(duì)持續(xù)優(yōu)化LDPC算法能力和性能，達(dá)成業(yè)界最佳糾錯(cuò)能力，F(xiàn)lash壽命最高提升5倍。

　　AI加持

　　華為將人工智能技術(shù)融入分布式存儲(chǔ)的全生命周期。

　　首先，華為云存儲(chǔ)能夠智能識(shí)別用戶個(gè)性化的業(yè)務(wù)模型，進(jìn)行自適應(yīng)的AI調(diào)優(yōu);同時(shí)通過(guò)動(dòng)態(tài)自適應(yīng)QoS控制，減少多租戶之間的干擾，保障租戶SLA。

　　其次，根據(jù)業(yè)務(wù)模型和負(fù)載，智能預(yù)測(cè)性能趨勢(shì)，并且根據(jù)用戶提前配置的自動(dòng)調(diào)整策略完成調(diào)整，免人工干預(yù)保障業(yè)務(wù)平穩(wěn)。

　　另外，從云上大數(shù)據(jù)分析看，大部分性能波動(dòng)是由于硬件故障引起的，通過(guò)AI故障預(yù)測(cè)能力，可以提前14天發(fā)現(xiàn)故障盤并完成自動(dòng)隔離處理。

　　通過(guò)AI的加持，華為云可以實(shí)現(xiàn)對(duì)租戶的IO模型和云存儲(chǔ)系統(tǒng)運(yùn)行狀態(tài)的感知和匹配，系統(tǒng)可以自主調(diào)優(yōu)和自我進(jìn)化，讓用戶越用越快。

　　目前，華為云是業(yè)界為數(shù)不多有能力將多項(xiàng)技術(shù)進(jìn)行整合與優(yōu)化，從而提升整體服務(wù)水平的云服務(wù)提供商。其通過(guò)全棧技術(shù)能力，將所有環(huán)節(jié)進(jìn)行協(xié)同與優(yōu)化，最終為用戶呈現(xiàn)出最佳的云服務(wù)。

　　從華為云宣傳的指標(biāo)來(lái)看，極速IO云硬盤非常不錯(cuò)，但是具體如何，還需要第三方測(cè)試一下。

　　至頂網(wǎng)評(píng)測(cè)實(shí)驗(yàn)室最近對(duì)華為極速IO云硬盤進(jìn)行了全面的測(cè)試，我這里只選取他們測(cè)試MySQL數(shù)據(jù)庫(kù)的情況。

　　在數(shù)據(jù)庫(kù)應(yīng)用測(cè)試中，至頂網(wǎng)選用Sysbench OLTP對(duì)華為云極速IO云硬盤與高速IO云硬盤的MySQL數(shù)據(jù)庫(kù)同樣進(jìn)行了評(píng)測(cè)。

　　在測(cè)試過(guò)程中，至頂網(wǎng)設(shè)置了10張數(shù)據(jù)庫(kù)表格，數(shù)據(jù)庫(kù)的大小設(shè)置為10,000,000，測(cè)試時(shí)長(zhǎng)為5分鐘。

　　云極速IO云硬盤測(cè)試截圖

　　從上面的SysbenchOLTP測(cè)試結(jié)果可以看出，華為云極速IO云硬盤MySQL數(shù)據(jù)庫(kù)應(yīng)用性能可以達(dá)到每秒2萬(wàn)，接近2.1萬(wàn)transactions(20938.99 per sec)的程度。每秒萬(wàn)次級(jí)別的數(shù)據(jù)庫(kù)調(diào)用，基本上達(dá)到各大電商大促活動(dòng)時(shí)的數(shù)據(jù)庫(kù)調(diào)用強(qiáng)度。

　　云超高IO云硬盤測(cè)試截圖

　　與華為云超高IO云硬盤數(shù)據(jù)庫(kù)應(yīng)用性能相比，極速IO云硬盤有一個(gè)數(shù)量級(jí)的性能提升。

　　鑒于華為云極速IO云硬盤的卓越性能，預(yù)計(jì)其在關(guān)系型數(shù)據(jù)庫(kù)、NoSQL數(shù)據(jù)庫(kù)、大數(shù)據(jù)+AI場(chǎng)景和云游戲及互聯(lián)網(wǎng)應(yīng)用將會(huì)被大量采用，大大提升最終用戶的體驗(yàn)，讓性能問題不再是上云的瓶頸。

　　也許大家都很關(guān)心，這么好的東西，到底貴不貴?我們是否負(fù)擔(dān)得起?目前，華為云極速IO云硬盤還處于試用階段，沒有公布價(jià)格。不過(guò)，隨著閃存價(jià)格的下降，應(yīng)該會(huì)有一個(gè)較高的性價(jià)比。

　　感興趣的朋友不妨先上華為云官網(wǎng)免費(fèi)申請(qǐng)?jiān)囉冒伞?/p>