戴爾易安信EC一個專為滿足移動、云、大數(shù)據(jù)和社交網(wǎng)絡(luò)應(yīng)用程序需求而設(shè)計的云存儲平臺

　　從一幅幅“像素風(fēng)”的NFT虛擬圖畫，拍賣出了千萬美元天價，到“元宇宙”大熱，竟能引發(fā)虛擬世界“搶房買地”熱潮，這是否預(yù)示著一個巨大的范式轉(zhuǎn)變？

　　登頂財富500強

　　一個標志性時刻即將來臨

　　近日，IT媒體《eWEEK》發(fā)表一篇文章認為，在2020年，財富500強上的前十大公司中，有八家與石油或能源相關(guān)。這一事實清楚地表明了石油在當今世界的主導(dǎo)地位，即在過去100年來，石油是推動全球經(jīng)濟增長的核心驅(qū)動力。

　　然而這一情況即將發(fā)生轉(zhuǎn)變。預(yù)計在2022年，按收入計算，亞馬遜將登頂全球財富500強。這也許是一個標志性事件，意味著世界從以能源和石油為基礎(chǔ)的經(jīng)濟轉(zhuǎn)向數(shù)據(jù)驅(qū)動型經(jīng)濟。

　　文章表示，到2030年，包括蘋果、特斯拉、谷歌在內(nèi)，全球財富十大公司中，有8家可能是數(shù)據(jù)驅(qū)動型公司。正如中東和蘇伊士運河在石油時代具有重要戰(zhàn)略地位，數(shù)據(jù)也將數(shù)字時代重要的“戰(zhàn)略資源”。

　　這也是如此之多的企業(yè)在數(shù)字化道路上狂飆突進的原因，掌握數(shù)據(jù)即是預(yù)見未來，才能在競爭中占領(lǐng)“制高點”。

　　數(shù)據(jù)價值如何挖掘

　　當然，光有數(shù)據(jù)還不夠，正如石油本身并沒有什么作用，而是需要提煉、加工，才能把石油變作燃料、化纖、塑料等等。數(shù)據(jù)本身也沒有價值，只有經(jīng)過收集、整理和分析，將數(shù)據(jù)轉(zhuǎn)化為見解，才能真正驅(qū)動商業(yè)價值。

　　在這里，“數(shù)據(jù)湖”三個字你一定不會陌生，這個最早在2010年由Pentaho創(chuàng)始人James Dixon提出，并這樣解釋這個概念“

　　如果你將數(shù)據(jù)集市視為瓶裝水的存儲——經(jīng)過清洗、包裝和組織以方便消費，數(shù)據(jù)湖是一個處于更自然狀態(tài)的大水體。來自源頭的內(nèi)容流補充到湖中，各類客戶可以來湖中檢測、探索以及獲取樣本。

　　”

　　不幸的是，數(shù)據(jù)湖的發(fā)展并非一帆風(fēng)順，因為早期的概念里， 數(shù)據(jù)湖更多地是關(guān)于當企業(yè)在處理海量異構(gòu)的數(shù)據(jù)時，如何在數(shù)據(jù)產(chǎn)生實際的應(yīng)用價值之前，為海量數(shù)據(jù)構(gòu)建一個易訪問且成本低的存儲方式。

　　用戶把數(shù)據(jù)扔進湖中，然后任其自生自滅，已經(jīng)有多次公開的失敗證明這種方法是錯誤的，一些早期采用者看到他們的數(shù)據(jù)湖迅速演變?yōu)楣芾聿簧苹驘o人管理的數(shù)據(jù)沼澤。

　　隨著時間的推移，今天用于實施數(shù)據(jù)湖的技術(shù)和方法已經(jīng)趨于成熟。數(shù)據(jù)湖作為大數(shù)據(jù)和人工智能技術(shù)基礎(chǔ)架構(gòu)發(fā)展的趨勢，不僅提供了海量數(shù)據(jù)的存儲能力，同時也為上層的數(shù)據(jù)處理提供了高效統(tǒng)一的數(shù)據(jù)管理引擎。

　　數(shù)據(jù)湖的主要特點：

　　▶ 第一：存儲原始數(shù)據(jù)，這些原始數(shù)據(jù)來源非常豐富;

　　▶ 第二：支持多種計算模型;

　　▶ 第三：有完善的數(shù)據(jù)管理能力，要能做到多種數(shù)據(jù)源接入，實現(xiàn)不同數(shù)據(jù)之間的連接，支持Schema管理和權(quán)限管理等;

　　▶ 第四：靈活的底層存儲，一般用s3、hdfs這種分布式文件系統(tǒng)，采用特定的文件格式和緩存，滿足對應(yīng)場景的數(shù)據(jù)分析需求。

　　技術(shù)上，數(shù)據(jù)湖不僅包括Hadoop，還包括其他傳統(tǒng)和新興大數(shù)據(jù)技術(shù)。下圖所示的是典型數(shù)據(jù)湖結(jié)構(gòu)：在一個數(shù)據(jù)湖解決方案中，用戶通過諸如Apache Flink等平臺，通過自帶的數(shù)據(jù)定義或者第三方框架的數(shù)據(jù)定義，對存儲在存儲層的數(shù)據(jù)進行管理，包括查詢和修改等。

　　其中，Apache Iceberg則是一個新興的數(shù)據(jù)定義框架，它適配了多個計算引擎，并具備了極強的擴展性，使得存儲層可以對其進行適配。

　　與Apache Iceberg結(jié)合

　　戴爾推出對象數(shù)據(jù)湖解決方案

　　Iceberg與Delta、Apache Hudi并稱為當前主流的三大開源數(shù)據(jù)湖方案。其特點是表元數(shù)據(jù)非常簡單，僅僅包括當前表的名稱和版本信息。所有的Schema和Properties都由Iceberg自身進行管理。

　　并且，Iceberg支持多種表的操作，包括從表中查詢數(shù)據(jù)、向表中插入數(shù)據(jù)、更新表中的數(shù)據(jù)、刪除指定行的數(shù)據(jù)和刪除指定條件的數(shù)據(jù)等。

　　Iceberg架構(gòu)

　　而為了全面擁抱數(shù)據(jù)湖，戴爾易安信對象存儲ECS與Apache Iceberg結(jié)合，推出對象數(shù)據(jù)湖解決方案。該方案實現(xiàn)了table-format的數(shù)據(jù)訪問接口，在數(shù)據(jù)加速、小文件、多地部署以及存儲效率上具備優(yōu)越的特性。

　　關(guān)于ECS

　　戴爾易安信ECS是完全軟件定義的云存儲平臺，專為滿足移動、云、大數(shù)據(jù)和社交網(wǎng)絡(luò)應(yīng)用程序需求而設(shè)計，支持在商用硬件上大規(guī)模存儲、操作和分析非結(jié)構(gòu)化數(shù)據(jù)。

　　數(shù)據(jù)湖在本質(zhì)上，是一種企業(yè)數(shù)據(jù)架構(gòu)方法，物理實現(xiàn)上則是一個數(shù)據(jù)存儲平臺。ECS對象存儲作為數(shù)據(jù)湖底層存儲方案，用此方案可以將數(shù)據(jù)湖的元數(shù)據(jù)和數(shù)據(jù)都直接對接對象存儲，充分利用對象存儲提供的原生優(yōu)勢，并且無需部署額外的元數(shù)據(jù)管理服務(wù)，提供了更大的部署便利性。同時利用Iceberg良好的Table Format語義，用于幫助用戶組織數(shù)據(jù)。

　　根據(jù)測試驗證，單節(jié)點S3寫性能10KB大小的數(shù)據(jù)能達到1萬以上TPS，100MB大小的數(shù)據(jù)能達到1GB以上帶寬。單節(jié)點 S3讀性能10KB大小的數(shù)據(jù)能達到3萬以上TPS，100MB大小的數(shù)據(jù)能達到5GB以上帶寬。成為企業(yè)構(gòu)建統(tǒng)一數(shù)據(jù)湖存儲，并在其上構(gòu)建多種形式分析的理想方案。

　　為了更好支持該解決方案的執(zhí)行，還發(fā)布了相關(guān)白皮書，讀者可復(fù)制下方鏈接至瀏覽器打開，下載白皮書，了解更多內(nèi)容：

　　https://www.delltechnologies.com/asset/zh-cn/products/storage/industry-market/apache-iceberg-dell-emc-ecs.pdf