家庭能源智聯(lián)自由 海辰儲(chǔ)能發(fā)布首套免安裝家庭微網(wǎng)系統(tǒng)HeroESOpenAI發(fā)布o(jì)3:AI 推理能力的重大突破,得分高達(dá)87.5%亞馬遜云科技推出Amazon Q Developer新功能小象超市,摸著美團(tuán)外賣(mài)出海E Ink元太科技連三年入選道瓊可持續(xù)雙指數(shù)撬動(dòng)6000億GTV后,抖音計(jì)劃偷襲美團(tuán)大本營(yíng)AGI Open Network(AON):賦能每個(gè)人創(chuàng)建、部署和貨幣化AI Agent貸款利率史上最低了嗎?東融教你看懂歷年啥水平“客服來(lái)電”有詐?抖音客服上線“驗(yàn)證助手”助用戶識(shí)別詐騙OpenAI新模型GPT-5研發(fā)未達(dá)預(yù)期:成本高昂 效果不佳曝天馬打入果鏈:為蘋(píng)果HomePod供應(yīng)LCD屏 每塊屏僅10美元曝OPPO或首發(fā)新款天璣次旗艦芯片 兩大子品牌Q2發(fā)力諾基亞攜手阿聯(lián)酋運(yùn)營(yíng)商e&,展示全球首個(gè)固網(wǎng)游戲端到端網(wǎng)絡(luò)切片方案零下25℃制熱26℃!海爾水暖通黑科技亮相冰雪大世界三星沒(méi)放棄曲面屏開(kāi)發(fā)!最新專(zhuān)利曝光暗示有望回歸三大運(yùn)營(yíng)商11月成績(jī)單:用戶數(shù)據(jù)增幅放緩打造下一個(gè)英偉達(dá),孫正義的2026芯片計(jì)劃曝光瞭望2025全球6G技術(shù)發(fā)展趨勢(shì)AI時(shí)代云安全新范式,暢捷通智能守護(hù)小微企業(yè)安全上云百川智能發(fā)布全鏈路領(lǐng)域增強(qiáng)金融大模型 Baichuan4-Finance
  • 首頁(yè) > 數(shù)據(jù)存儲(chǔ)頻道 > 數(shù)據(jù).存儲(chǔ)頻道 > 存儲(chǔ)資訊

    挑戰(zhàn)存儲(chǔ)“不可能之三角”:用自研技術(shù)引領(lǐng)存儲(chǔ)性能突破

    2024年01月04日 09:50:13   來(lái)源:科技云報(bào)道

      科技云報(bào)道原創(chuàng)。

      存儲(chǔ),是數(shù)字化時(shí)代的“糧倉(cāng)”。它承載著企業(yè)的海量數(shù)據(jù),是企業(yè)數(shù)字化轉(zhuǎn)型的基礎(chǔ)。

      然而,隨著非結(jié)構(gòu)化數(shù)據(jù)在生產(chǎn)業(yè)務(wù)中的廣泛應(yīng)用,各行各業(yè)正在經(jīng)歷數(shù)據(jù)量的爆炸式增長(zhǎng)。雖然分布式存儲(chǔ)在大眾認(rèn)知內(nèi)具有高性價(jià)比和高擴(kuò)展性,卻未被賦予高性能的標(biāo)簽。

      可以說(shuō),分布式存儲(chǔ)沒(méi)能完全解決存儲(chǔ)領(lǐng)域“大容量、高性能、高性價(jià)比不可能之三角”這一痛點(diǎn)。

      分布式存儲(chǔ)的主要優(yōu)勢(shì)在于其出色的對(duì)象存儲(chǔ)能力,但在文件存儲(chǔ)的性能表現(xiàn)上,大小文件有所差異。

      對(duì)于大文件的處理,由于技術(shù)壁壘較低,并且許多業(yè)界廠商已經(jīng)針對(duì)此進(jìn)行了深入研發(fā)和優(yōu)化,因此大文件的處理效果相對(duì)較好。

      然而,分布式存儲(chǔ)對(duì)于小文件的處理卻受限于其開(kāi)源的Ceph架構(gòu),需要處理大量小文件時(shí),元數(shù)據(jù)管理、存儲(chǔ)空間和IO性能等能力跟不上,性能表現(xiàn)并不理想。

      至于高性價(jià)比,這要求在低成本的同時(shí)提供更高的性能和更大的容量。以往業(yè)界認(rèn)為,高性能一定伴隨著高成本,但實(shí)際上這是對(duì)高性能和高成本之間關(guān)系的誤解。

      只有找不到合理有效的優(yōu)化手段或解決方案時(shí),才可能需要通過(guò)增加硬件投入來(lái)提高性能。

      那么,如何解決分布式存儲(chǔ)的“不可能之三角”?

      這是一個(gè)值得深思的問(wèn)題,也是一個(gè)不小的挑戰(zhàn),F(xiàn)在,在存儲(chǔ)賽道上,有一個(gè)“老道的新手”用自研技術(shù),成功走到了大容量、高性能、高性價(jià)的交集里。

      做分布式存儲(chǔ)易做好分布式存儲(chǔ)難

      數(shù)字化浪潮洶涌向前,與之同行的是,存儲(chǔ)行業(yè)也要不斷地創(chuàng)新求變。

      2018年前后,視頻、音頻等非結(jié)構(gòu)化數(shù)據(jù)開(kāi)始爆炸式增長(zhǎng),特別是在政府、醫(yī)療、媒體等領(lǐng)域存在大量的視頻數(shù)據(jù)存儲(chǔ)需求,對(duì)存儲(chǔ)海量數(shù)據(jù)、存儲(chǔ)系統(tǒng)的擴(kuò)展性提出了新的要求,以集中式架構(gòu)為主SAN、NAS傳統(tǒng)存儲(chǔ)瓶頸開(kāi)始凸顯。

      存儲(chǔ)市場(chǎng)需求的變化,也催化了新技術(shù)的爆發(fā)。這個(gè)時(shí)期,分布式存儲(chǔ)技術(shù)開(kāi)始在各大廠商之間冒頭。

      分布式存儲(chǔ)將數(shù)據(jù)分散存儲(chǔ)到多個(gè)存儲(chǔ)服務(wù)器上,并將這些分散的存儲(chǔ)資源構(gòu)成一個(gè)虛擬的存儲(chǔ)設(shè)備,從而實(shí)現(xiàn)了存儲(chǔ)容量的擴(kuò)展、性能的提升和成本的降低。

      2020年,被視為分布式存儲(chǔ)爆發(fā)元年。根據(jù)IDC發(fā)布的《中國(guó)存儲(chǔ)市場(chǎng)季度追蹤報(bào)告》,2020年中國(guó)分布式存儲(chǔ)市場(chǎng)規(guī)模達(dá)到了37.2億美元,同比增長(zhǎng)68.2%。

      其中,企業(yè)級(jí)分布式存儲(chǔ)市場(chǎng)規(guī)模達(dá)到了33.8億美元,同比增長(zhǎng)69.2%。

      盡管分布式存儲(chǔ)已逐步進(jìn)入生產(chǎn)領(lǐng)域,但市場(chǎng)的變化,仍在催生新的需求。

      最初,市場(chǎng)的焦點(diǎn)主要在于“存下來(lái)”,即如何存儲(chǔ)日益增長(zhǎng)的數(shù)據(jù),例如政府的智慧城市項(xiàng)目和醫(yī)療影像的長(zhǎng)期存儲(chǔ)。

      對(duì)于這類(lèi)“第二存儲(chǔ)、備份歸檔”等邊緣數(shù)據(jù)場(chǎng)景,分布式存儲(chǔ)的低成本、高擴(kuò)展性能夠很好地滿足。

      隨著時(shí)間的推進(jìn),對(duì)存儲(chǔ)“高性能”的要求也日益提升,以滿足例如醫(yī)院的PACS閱片場(chǎng)景,實(shí)景三維場(chǎng)景,企業(yè)EDA場(chǎng)景等應(yīng)用的需求。

      這些應(yīng)用不僅需要存儲(chǔ)海量數(shù)據(jù),還要求快速處理和分析這些數(shù)據(jù)。顯然,市場(chǎng)上普遍存在的“大容量但低性能”的分布式存儲(chǔ)已跟不上市場(chǎng)的需求。

      近年來(lái),隨著AI訓(xùn)練、芯片等高精尖產(chǎn)業(yè)的快速發(fā)展,對(duì)存儲(chǔ)系統(tǒng)的“綜合性能”提出了更高的要求。

      這些應(yīng)用需要的不僅是海量的存儲(chǔ)容量,更要能夠處理混合負(fù)載,即高速的數(shù)據(jù)處理能力和對(duì)不同類(lèi)型文件的支持。

      事實(shí)上,在處理“混合負(fù)載”這一點(diǎn)上,目前分布式存儲(chǔ)產(chǎn)品普遍性能滿足不好。

      混合負(fù)載的特點(diǎn)在于,既包括大文件(比如幾百兆甚至幾個(gè)G的視頻文件),也包括很多小文件(比如只有幾KB甚至更小的文本文件),當(dāng)數(shù)據(jù)量達(dá)到一定規(guī)模,小文件的處理性能就成為性能瓶頸。

      不難發(fā)現(xiàn),分布式存儲(chǔ)在一定程度上能夠解決傳統(tǒng)存儲(chǔ)在性能、擴(kuò)展性方面的問(wèn)題,但想要實(shí)現(xiàn)高性能的目標(biāo),依然非常困難?梢哉f(shuō),做分布式存儲(chǔ)容易,但做高性能的分布式存儲(chǔ)難。

      分布式存儲(chǔ)想要解決“大容量、高性能、高性價(jià)比”的“不可能三角”難題,目前能夠完全作答的廠商并不多。

      入局存儲(chǔ)賽道十年的深信服,正是其中的佼佼者。

      堅(jiān)持自研技術(shù)深信服挑戰(zhàn)存儲(chǔ)“不可能之三角”

      2013年,深信服作為國(guó)內(nèi)最早鉆研虛擬化技術(shù)的云計(jì)算廠商之一,憑借虛擬化技術(shù)的優(yōu)勢(shì),開(kāi)始摸索著切入存儲(chǔ)賽道,那時(shí)深信服內(nèi)部稱(chēng)之為“虛擬存儲(chǔ)”,顧名思義,扮演的角色是深信服桌面云和超融合存儲(chǔ)底座支撐。

      彼時(shí),經(jīng)過(guò)超融合、桌面云的用戶“檢驗(yàn)”之后的“虛擬存儲(chǔ)”,也日漸成熟。

      隨著各行各業(yè)數(shù)據(jù)不斷增長(zhǎng),深信服看到了用戶在小文件場(chǎng)景面臨的困擾。2017年開(kāi)始,深信服決定獨(dú)立發(fā)展存儲(chǔ),加大投入,打造用戶真正需要的存儲(chǔ)底座。

      在與傳統(tǒng)存儲(chǔ)廠商的競(jìng)爭(zhēng)中,深信服搶占了先機(jī):一方面,深信服精準(zhǔn)把控了市場(chǎng)需求變化;另一方面,通過(guò)自研核心高性能架構(gòu),實(shí)現(xiàn)了彎道超車(chē)。

      帶著對(duì)用戶需求的深刻洞察,從2020年開(kāi)始,深信服EDS存儲(chǔ)將目光鎖定在了主存儲(chǔ)領(lǐng)域,專(zhuān)為“高性能大容量文件存儲(chǔ)”而生——能支持混合IO負(fù)載,兼具大小文件能力,瞄向高精尖場(chǎng)景。

      2023年,深信服發(fā)布了EDS分布式存儲(chǔ)501高性能版本,這在存儲(chǔ)業(yè)界也意味著分布式存儲(chǔ)能堪當(dāng)大任,承載核心生產(chǎn)業(yè)務(wù)。

      在深信服看來(lái),存儲(chǔ)“不可能之三角”的破題秘籍在于,充分發(fā)揮硬件存儲(chǔ)介質(zhì)性能和提升軟件數(shù)據(jù)管理及處理能力,從而取得“高性能+大容量+高性價(jià)比”的平衡。

      高性能和大容量一步到位

      存儲(chǔ)設(shè)備的性能通常由其讀寫(xiě)速度和承載數(shù)據(jù)量的能力來(lái)衡量,特別是在處理大量小文件時(shí),讀寫(xiě)速度和系統(tǒng)的穩(wěn)定性尤為重要。

      在讀寫(xiě)性能提升上,深信服EDS存儲(chǔ)設(shè)計(jì)的讀寫(xiě)模式充分適應(yīng)了SSD與HDD混合閃存介質(zhì)的特性,以此充分激發(fā)硬件性能。同時(shí),通過(guò)增加NVMe SSD即可實(shí)現(xiàn)容量的橫向擴(kuò)展、性能的線性提升。

      同樣大小的內(nèi)存空間,深信服EDS存儲(chǔ)基于多活的元數(shù)據(jù)能力,可以充分發(fā)揮各節(jié)點(diǎn)的磁盤(pán)性能,讓元數(shù)據(jù)訪問(wèn)效率提升 10 倍以上,可緩存的元數(shù)據(jù)規(guī)模是Ceph系產(chǎn)品的7倍,在 AI 訓(xùn)練等場(chǎng)景下可以保持 90% 以上的元數(shù)據(jù)命中率。

      不僅如此,深信服EDS存儲(chǔ)在IO整合、數(shù)據(jù)緩存與協(xié)議增強(qiáng)等核心技術(shù)方向上也構(gòu)建了自己的核心能力,來(lái)提升海量小文件和大文件高吞吐場(chǎng)景的性能。

      通過(guò)小文件的聚合和動(dòng)態(tài)IO整合,深信服EDS存儲(chǔ)實(shí)現(xiàn)了性能層空間的最小化,并且在持續(xù)寫(xiě)入文件的過(guò)程中,保障性能層不會(huì)被擊穿,始終保有充足的空間進(jìn)行數(shù)值的排序與整合,通過(guò)這樣的動(dòng)態(tài)整合來(lái)解決容量使用超過(guò)80%后導(dǎo)致的垃圾回收擠占而性能下降的問(wèn)題。

      對(duì)于延遲敏感型業(yè)務(wù),深信服EDS存儲(chǔ)采用自適應(yīng)三級(jí)緩存技術(shù),縮短數(shù)據(jù)路徑將數(shù)據(jù)時(shí)延降至us級(jí)。

      在協(xié)議增強(qiáng)上,相比于標(biāo)準(zhǔn)文件共享協(xié)議協(xié)議,深信服EDS存儲(chǔ)提升了2-3倍,進(jìn)一步降低協(xié)議對(duì)性能的額外開(kāi)銷(xiāo),縮短時(shí)延和提升性能。

      基于分布式存儲(chǔ)架構(gòu)的天然優(yōu)勢(shì),當(dāng)用戶需要更大的存儲(chǔ)空間或者處理能力時(shí),只需要添加更多的節(jié)點(diǎn)即可,無(wú)需改變已有的硬件或軟件結(jié)構(gòu),也無(wú)須面臨替換存儲(chǔ)陣列硬件的昂貴投入,獲得性能和容量的真正“自由”。

      打破常規(guī):以更低成本驅(qū)動(dòng)高性能和大容量

      傳統(tǒng)陣列存儲(chǔ)如果要同時(shí)滿足大容量、高性能的需求,往往需要投入很高成本,高昂的磁盤(pán)陣列擴(kuò)容擴(kuò)展的費(fèi)用也讓很多企業(yè)不堪重負(fù)。

      而在深信服看來(lái),同時(shí)獲得高性能和大容量可以用更經(jīng)濟(jì)的方式,也不需要過(guò)度依賴(lài)昂貴、高端的硬件配置。

      一方面,深信服EDS存儲(chǔ)實(shí)現(xiàn)了冷熱數(shù)據(jù)自動(dòng)分層,熱數(shù)據(jù)存儲(chǔ)在NVMe 或SATA固態(tài)盤(pán)構(gòu)建的高性能層,冷數(shù)據(jù)存儲(chǔ)在機(jī)械盤(pán)構(gòu)建的大容量層,這樣能幫助用戶節(jié)省存儲(chǔ)的硬件成本。

      另一方面,基于深舟數(shù)據(jù)管理平臺(tái)、EDSData Explorer等軟件,實(shí)現(xiàn)數(shù)據(jù)的高效壓縮和管理,64GB內(nèi)存可以承載億級(jí)以上規(guī)模小文件的高速讀寫(xiě),幫助用戶合理規(guī)劃存儲(chǔ)的投入成本。

      通過(guò)硬件+軟件的組合式創(chuàng)新,深信服EDS分布式存儲(chǔ)在高性能、大容量、高性價(jià)比等方面都取得了顯著的提升,能夠滿足容量大且大小文件混合負(fù)載的應(yīng)用場(chǎng)景,很好地解決了存儲(chǔ)“不可能之三角”。

      對(duì)存儲(chǔ)而言,性能優(yōu)化可謂是一場(chǎng)沒(méi)有終點(diǎn)的馬拉松,持續(xù)在通用硬件上激發(fā)出更高、更穩(wěn)定的存儲(chǔ)性能,通過(guò)軟件實(shí)現(xiàn)更快的數(shù)據(jù)接入、數(shù)據(jù)管理,用戶便可以用更低的成本投入獲得可支撐核心業(yè)務(wù)運(yùn)行的存儲(chǔ)產(chǎn)品。

      自研分布式存儲(chǔ)系統(tǒng)的深信服,技術(shù)棧更加先進(jìn),加上軟硬件結(jié)合與適配,在性能、可靠性等方面出類(lèi)拔萃,勝任高精尖領(lǐng)域的各種存儲(chǔ)需求。

      一款產(chǎn)品好不好用客戶反饋是真正的試金石

      一款好的存儲(chǔ)產(chǎn)品,不僅是實(shí)驗(yàn)室里的高性能,更是用戶生產(chǎn)環(huán)境的實(shí)際需求的高性能。

      上海某專(zhuān)科醫(yī)院的影像數(shù)據(jù)每年以15%的速度增長(zhǎng),深信服EDS存儲(chǔ)不僅滿足其擴(kuò)容需求,而且還能輕松應(yīng)對(duì)就診高峰期的高并發(fā)閱片,閱片端每秒可加載1000張CT影像。

      這意味著,醫(yī)生可以在更短的時(shí)間內(nèi)完成閱片,提高工作效率,為患者提供更優(yōu)質(zhì)的醫(yī)療服務(wù)。

      除了實(shí)實(shí)在在為醫(yī)院、醫(yī)療助力之外,深信服EDS存儲(chǔ)也應(yīng)用在AI、芯片、測(cè)繪、媒體等多場(chǎng)景。

      在芯片設(shè)計(jì)場(chǎng)景 ,深信服EDS存儲(chǔ)可以支撐更大規(guī)模的EDA仿真任務(wù),激活100%活躍算力。這意味著,芯片設(shè)計(jì)企業(yè)可以更快地完成EDA仿真,縮短產(chǎn)品研發(fā)周期。

      在測(cè)繪場(chǎng)景 ,EDS 501高性能版本每天可以處理70000張航片。

      在航片導(dǎo)入場(chǎng)景 ,相比于其他廠商大文件吞吐能力提升2倍多;三維建模場(chǎng)景的小文件效率可接近于本地NVMe SSD,CASS3D在線打開(kāi)海量小文件組成的三維成果數(shù)據(jù)耗時(shí)相比于某陣列NAS縮短8倍多。

      結(jié)語(yǔ)

      在高精尖領(lǐng)域的成功,深信服證明了EDS具有強(qiáng)大的市場(chǎng)適應(yīng)性,這也為其在其他行業(yè)的發(fā)展奠定了良好的基礎(chǔ)。深信服之所以在這些場(chǎng)景中表現(xiàn)出強(qiáng)勁的性能,這得益于EDS的“業(yè)務(wù)優(yōu)先”理念。

      深信服EDS存儲(chǔ)從不“唯數(shù)據(jù)論”,不盲目追求性能數(shù)據(jù)上的提升,而是落到真實(shí)的業(yè)務(wù)場(chǎng)景,針對(duì)業(yè)務(wù)特征進(jìn)行性能優(yōu)化,為實(shí)際業(yè)務(wù)運(yùn)行帶去更好的體驗(yàn)。

      同時(shí),深信服EDS也不鼓吹“大而全”,而是聚焦在高性能文件存儲(chǔ)這一領(lǐng)域精益求精,力爭(zhēng)領(lǐng)導(dǎo)者。

      深信服作為存儲(chǔ)領(lǐng)域“老道的新手”,在高性能存儲(chǔ)之路上,追求的不僅是將自身在云技術(shù)棧十多年積累的存儲(chǔ)技術(shù)用于EDS存儲(chǔ),更重要的是深入到每個(gè)用戶的實(shí)際應(yīng)用場(chǎng)景中,以生產(chǎn)業(yè)務(wù)的高性能需求為導(dǎo)向,真正實(shí)現(xiàn)用戶需求和技術(shù)優(yōu)勢(shì)的最佳結(jié)合。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。

    即時(shí)

    新聞

    明火炊具市場(chǎng):三季度健康屬性貫穿全類(lèi)目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來(lái)都要半個(gè)月了,現(xiàn)在方便多了!”打開(kāi)“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費(fèi)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實(shí)力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來(lái)實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡(jiǎn)直是創(chuàng)作者們的首選。

    研究

    中國(guó)信通院羅松:深度解讀《工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析體系

    9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會(huì)——工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析專(zhuān)題論壇在沈陽(yáng)成功舉辦。