Data Fabric 定義、架構(gòu)和最佳實踐

　　Data Fabric 支持統(tǒng)一的數(shù)據(jù)管理架構(gòu)，使企業(yè)可以從可擴(kuò)展和融合的數(shù)據(jù)能力中獲益。

　　Data Fabric被定義為一種新興的方法，使用基于網(wǎng)絡(luò)的架構(gòu)而不是點對點連接來處理數(shù)據(jù)。這實現(xiàn)了從數(shù)據(jù)源層面到分析、洞察力生成、協(xié)調(diào)和應(yīng)用的一體化數(shù)據(jù)層(結(jié)構(gòu))。本文詳細(xì)解釋了Data Fabric、其關(guān)鍵組件和最佳實踐。

　　01 什么是Data Fabric？

　　Data Fabric 是一種使用基于網(wǎng)絡(luò)的架構(gòu)而不是點對點連接來處理數(shù)據(jù)的新興方法。這支持從數(shù)據(jù)源級別到分析、洞察力生成、編排和應(yīng)用程序的集成數(shù)據(jù)層(結(jié)構(gòu))。 它在底層數(shù)據(jù)組件上放置了一層抽象，以使業(yè)務(wù)用戶可以使用信息和洞察力，而無需重復(fù)或強(qiáng)制性的數(shù)據(jù)科學(xué)工作。

　　隨著企業(yè)數(shù)據(jù)需求的發(fā)展，公司正在努力接受其復(fù)雜性、異構(gòu)性以及它存在于分散在企業(yè)環(huán)境中的多個應(yīng)用程序和環(huán)境中的事實。據(jù) Statista 稱，到 2024 年，全球數(shù)據(jù)生成和消費量將超過 149 澤字節(jié)，其中非結(jié)構(gòu)化數(shù)據(jù)將占其中的 80% 左右。

　　Data Fabric 被視為這個問題的答案。它改進(jìn)了數(shù)據(jù)倉庫和數(shù)據(jù)湖的舊概念，引入了一種架構(gòu)，可以在整個企業(yè)中實現(xiàn)統(tǒng)一的數(shù)據(jù)利用。出于這個原因，Gartner 將 Data Fabric 確定為 2019 年十大最具影響力的數(shù)據(jù)和分析技術(shù)之一，并指出到 2022 年，公司將被迫重新設(shè)計其基礎(chǔ)架構(gòu)以支持定制的 Data Fabric 設(shè)計。

　　02 Data Fabric 的應(yīng)用

　　讓我們探索 Data Fabric 的關(guān)鍵功能和企業(yè)應(yīng)用程序，以了解它是如何工作的。

　　Data Fabric支持非結(jié)構(gòu)化數(shù)據(jù)，包括物聯(lián)網(wǎng)：企業(yè)正在迅速將其邊界擴(kuò)展到本地服務(wù)器和固定工作站之外。從自帶設(shè)備 (BYOD) 和 WFH 到現(xiàn)場加固型手持設(shè)備和物聯(lián)網(wǎng) (IoT)，聯(lián)網(wǎng)設(shè)備的范圍正在不斷擴(kuò)大。數(shù)據(jù)結(jié)構(gòu)連接所有這些端點，處理通過傳感器收集的非結(jié)構(gòu)化數(shù)據(jù)，并以最低的后端復(fù)雜性提供洞察力。

　　Data Fabric 大規(guī)模處理信息：企業(yè)數(shù)據(jù)量不斷增長，能夠有效移動數(shù)據(jù)的組織將獲得競爭優(yōu)勢。數(shù)據(jù)驅(qū)動的洞察力和決策可以推動新的商機(jī)、改善客戶體驗并實現(xiàn)更高效的工作方式。Data Fabric 使自動攝取和利用原本閑置的數(shù)據(jù)成為可能。

　　Data Fabric 與混合托管環(huán)境兼容：Data Fabric 的關(guān)鍵特征之一是它與環(huán)境、平臺和工具無關(guān)。它可以實現(xiàn)與技術(shù)堆棧中幾乎每個組件的雙向集成，以創(chuàng)建交織或類似織物的架構(gòu)。這非常適合多云或混合云企業(yè)，其中數(shù)據(jù)計劃需要在所有云中統(tǒng)一且一致地運行。該解決方案從分布在環(huán)境中的多個來源攝取數(shù)據(jù)，以創(chuàng)建一個整合的“結(jié)構(gòu)”以生成洞察力。

　　Data Fabric 以更快的速度產(chǎn)生洞察力：這些解決方案甚至可以輕松處理最復(fù)雜的數(shù)據(jù)集，從而加快洞察力。由于其架構(gòu)，有預(yù)先構(gòu)建的分析模型和認(rèn)知算法來大規(guī)模和快速地處理數(shù)據(jù)。例如，NASA 能夠與名為 Stardog 的數(shù)據(jù)結(jié)構(gòu)供應(yīng)商合作，將獲得洞察的時間縮短 90%。

　　與傳統(tǒng)倉儲模型相比，Data Fabric 需要更少的 IT 干預(yù)：Data Fabric 的一個重要特征是它依賴于一組預(yù)構(gòu)建和預(yù)配置的組件來從原始數(shù)據(jù)到經(jīng)過處理和可操作的信息。這些系統(tǒng)通常托管在云上，并由經(jīng)驗豐富的服務(wù)提供商管理。這意味著在實施和維護(hù)數(shù)據(jù)生產(chǎn)計劃時不需要 IT 參與。

　　技術(shù)用戶和非技術(shù)用戶都使用Data Fabric：Data Fabric的體系結(jié)構(gòu)使其適用于廣泛的用戶界面。您可以構(gòu)建可以被業(yè)務(wù)主管快速理解和利用的時尚儀表板。Data Fabric還帶有復(fù)雜的工具，可以讓數(shù)據(jù)科學(xué)家深入挖掘和深入數(shù)據(jù)探索。它適用于各種數(shù)據(jù)素養(yǎng)水平。

　　實施Data Fabric的主要目的是鞏固數(shù)據(jù)治理和數(shù)據(jù)安全，無論它位于企業(yè)的哪個位置。您還可以將解決方案與新的數(shù)據(jù)源、分析模型、用戶界面和自動化腳本集成以改進(jìn)數(shù)據(jù)使用。Data Fabric 技術(shù)的最新進(jìn)展意味著您甚至可以使用圖形模型處理元數(shù)據(jù)，以與業(yè)務(wù)用戶相關(guān)，而不僅僅是被動資產(chǎn)。其架構(gòu)允許企業(yè)通過擴(kuò)展添加新功能、疊加安全覆蓋以及執(zhí)行其他關(guān)鍵功能，而無需縮減核心數(shù)據(jù)庫。

　　03 Data Fabric 的關(guān)鍵架構(gòu)組件

　　Data Fabric 是一個打包的解決方案，它利用七個關(guān)鍵組件從數(shù)據(jù)中提取見解并在整個企業(yè)中一致地交付它們。這些關(guān)鍵架構(gòu)組件包括：

　　Data Fabric 的關(guān)鍵架構(gòu)組件

　　1、采集的數(shù)據(jù)源

　　數(shù)據(jù)源是系統(tǒng)生成的信息，將由Data Fabric 處理、存儲和使用。這些資源可能存在于企業(yè)內(nèi)部，例如您的企業(yè)資源規(guī)劃 (ERP) 軟件、客戶關(guān)系管理 (CRM) 軟件或人力資源信息系統(tǒng) (HRIS)。您可以連接到非結(jié)構(gòu)化數(shù)據(jù)源，例如支持 PDF 和屏幕截圖的文檔提交系統(tǒng)，以及物聯(lián)網(wǎng)傳感器。Data Fabric 還可以從提供公共可用數(shù)據(jù)(如社交媒體)的外部系統(tǒng)中提取數(shù)據(jù)。最后，企業(yè)可以購買第三方數(shù)據(jù)庫來豐富內(nèi)部已有的信息。

　　2、用于處理的分析和知識圖譜

　　Data Fabric 采集的許多數(shù)據(jù)都是半結(jié)構(gòu)化或非結(jié)構(gòu)化形式，包括來自各種來源的元數(shù)據(jù)。分析和知識圖譜系統(tǒng)會將所有數(shù)據(jù)類型一致地轉(zhuǎn)換為連貫的格式，以便可以在沒有任何瓶頸的情況下對其進(jìn)行處理。具體來說，用戶需要能夠查看和理解企業(yè)中各種數(shù)據(jù)源之間的關(guān)系。這就是為什么在您繼續(xù)生成洞察之前，處理分析是數(shù)據(jù)結(jié)構(gòu)的關(guān)鍵架構(gòu)組件。

　　3、洞察生成的高級算法

　　對于此組件，您可以利用 AI/ML 算法進(jìn)行持續(xù)數(shù)據(jù)監(jiān)控和實時洞察生成。AI/ML 的使用顯著縮短了處理時間，并幫助您更快地產(chǎn)生洞察力。數(shù)據(jù)必須與勞動力優(yōu)化或特定位置的業(yè)務(wù)決策等運營用例保持一致，以顯示最相關(guān)的洞察力。此外，出于安全和合規(guī)目的，必須記錄所有活動。

　　4、用于與交付接口連接的 API 和 SDK

　　這可能是Data Fabric 中最重要的組成部分，這使它有別于傳統(tǒng)的數(shù)據(jù)湖或倉庫。Data Fabric 在其架構(gòu)主干中內(nèi)置了集成就緒功能，并且可以與任何前端用戶 UI 連接，以便在最需要的地方提供洞察力。為此，它使用應(yīng)用程序編程接口 (API) 和軟件開發(fā)工具包 (SDK) 以及預(yù)構(gòu)建的連接器。理想情況下，它應(yīng)該有兩個集成模塊 - IT 專業(yè)人員可以用來設(shè)置復(fù)雜集成的自己動手 (DIY) 功能，以及讓業(yè)務(wù)用戶開始從 Data Fabric 中獲益的開箱即用功能。自助式商業(yè)智能 (BI) 工具。

　　5、數(shù)據(jù)消費層

　　數(shù)據(jù)消費層是指在前端實現(xiàn)數(shù)據(jù)消費的面向用戶的界面。您可以通過多種方式調(diào)整這一層，以從您的 Data Fabric 投資中獲得最大回報。例如，業(yè)務(wù)應(yīng)用程序中的嵌入式分析可以幫助用戶在其工作流程的上下文中訪問信息。虛擬助手和聊天機(jī)器人可以幫助進(jìn)行自然數(shù)據(jù)探索。而且，實時儀表板可以讓運營經(jīng)理實時了解關(guān)鍵企業(yè)事件。Data Fabric 的優(yōu)勢在于它同樣輕松地支持所有這些要求。

　　6、數(shù)據(jù)傳輸層

　　傳輸層幫助數(shù)據(jù)在結(jié)構(gòu)中移動。強(qiáng)大的數(shù)據(jù)傳輸層不僅能夠在系統(tǒng)之間無中斷地移動數(shù)據(jù)，而且還能夠通過端到端加密實施嚴(yán)格的安全性。該層還可以設(shè)計為保留重復(fù)數(shù)據(jù)刪除，以便在移動過程中不會創(chuàng)建新副本。它還應(yīng)該保持由Data Fabric 的不同組件強(qiáng)制執(zhí)行的壓縮效率，以便數(shù)據(jù)再水化不會在運動中發(fā)生，從而導(dǎo)致無意的低效率或安全風(fēng)險。

　　7、托管環(huán)境

　　雖然該組件在技術(shù)上是數(shù)據(jù)結(jié)構(gòu)架構(gòu)的外部，但它會影響其核心組件。您可以選擇在本地或云端托管 Data Fabric。在后者的情況下，它可能能夠從基于云的數(shù)據(jù)管理工具(如 Snowflake 和容器)中獲益。本地數(shù)據(jù)結(jié)構(gòu)應(yīng)該與您的非云 IT 工具集成，無論是 Oracle 本地、SAP 還是其他任何工具。如果您與合適的供應(yīng)商合作，Data Fabric 也非常適合多云和混合云環(huán)境。

　　雖然我們生活在一個數(shù)據(jù)驅(qū)動的時代，但組織在日常任務(wù)上花費了不成比例的時間，而在增值上卻沒有足夠的時間。Gartner 2020 年一項題為“平衡創(chuàng)新與控制的數(shù)據(jù)管理斗爭”的調(diào)查發(fā)現(xiàn)，數(shù)據(jù)團(tuán)隊只能將 22% 的時間用于創(chuàng)新。剩余的精力用于維護(hù)生產(chǎn)計劃、培訓(xùn)用戶和其他非增值任務(wù)。Data Fabric 使用上述七個組件來糾正這種平衡，并通過消除數(shù)據(jù)管理中的后端瓶頸來釋放您的頂尖人才。

　　04 Data Fabric 8 大最佳應(yīng)用實踐

　　全球數(shù)據(jù)結(jié)構(gòu)市場將從 2020 年的 11 億美元增長 3 倍以上，到 2026 年達(dá)到 37 億美元(根據(jù)全球行業(yè)分析師的說法)——這表明該領(lǐng)域的需求強(qiáng)勁。如果您希望實施數(shù)據(jù)結(jié)構(gòu)架構(gòu)以優(yōu)化企業(yè)數(shù)據(jù)的使用方式，請記住以下最佳實踐。

　　數(shù)據(jù)編織的最佳實踐

　　1、采用 DataOps 流程模型

　　雖然數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)操作不是相同的概念，但數(shù)據(jù)操作可以證明是一個重要的推動者。根據(jù) DataOps 流程模型，數(shù)據(jù)流程、工具和應(yīng)用洞察的用戶之間存在密切的聯(lián)系。

　　用戶可以持續(xù)依賴數(shù)據(jù)，有意義地利用可用工具，并應(yīng)用洞察力來優(yōu)化運營。該模型與數(shù)據(jù)結(jié)構(gòu)的架構(gòu)具有共生關(guān)系。如果沒有 DataOps 流程模型和 DataOps 思維模式，用戶將難以充分利用數(shù)據(jù)結(jié)構(gòu)。

　　2、主動避免建立另一個數(shù)據(jù)湖

　　構(gòu)建數(shù)據(jù)結(jié)構(gòu)時的一個常見缺陷是它可能最終變成另一個數(shù)據(jù)湖。如果您擁有所有架構(gòu)組件——數(shù)據(jù)源、分析、BI 算法、數(shù)據(jù)傳輸和數(shù)據(jù)消費——但沒有 API 和 SDK，那么結(jié)果就不是真正的數(shù)據(jù)結(jié)構(gòu)。

　　數(shù)據(jù)結(jié)構(gòu)是指架構(gòu)設(shè)計，而不是單一技術(shù)。組件之間的互操作性和集成準(zhǔn)備是該設(shè)計的定義特征。這就是為什么企業(yè)需要特別關(guān)注集成層、無縫數(shù)據(jù)傳輸以及自動洞察交付到新連接的前端接口的原因。

　　3、了解您的合規(guī)性和監(jiān)管要求

　　數(shù)據(jù)結(jié)構(gòu)架構(gòu)可以幫助改善安全性、治理和法規(guī)遵從性，因為數(shù)據(jù)在其中運行的整體環(huán)境。由于數(shù)據(jù)不會分散在不同的系統(tǒng)中，因此威脅向量更小，敏感數(shù)據(jù)暴露的風(fēng)險也更小。

　　但是，在實施數(shù)據(jù)結(jié)構(gòu)之前，請務(wù)必仔細(xì)了解圍繞您的數(shù)據(jù)的合規(guī)性和法規(guī)要求。這是因為不同的數(shù)據(jù)類型可能屬于不同的監(jiān)管管轄區(qū)，并有不同的法律管轄。您可以通過強(qiáng)制執(zhí)行數(shù)據(jù)轉(zhuǎn)換以在必要時遵守法律的自動化合規(guī)策略來解決這個問題。

　　4、部署基于圖形的分析以查找相關(guān)性

　　圖分析是關(guān)系數(shù)據(jù)庫的一種更智能的替代方案，它有助于使用知識圖來可視化元數(shù)據(jù)和數(shù)據(jù)關(guān)系。它使用語義上下文豐富數(shù)據(jù)，以了解信息的含義，而不僅僅是文本字符串。

　　由圖分析提供支持的知識圖是數(shù)據(jù)結(jié)構(gòu)的理想選擇——數(shù)據(jù)結(jié)構(gòu)架構(gòu)的主要目的是實現(xiàn)對不同數(shù)據(jù)源的整體使用而不會重復(fù)。知識圖可以通過調(diào)查數(shù)據(jù)源之間的關(guān)系來提供業(yè)務(wù)和運營洞察力。與關(guān)系數(shù)據(jù)庫方法相比，它更擅長集成不同的數(shù)據(jù)，并且挖掘出的見解也與業(yè)務(wù)用戶更相關(guān)。

　　5、為公民開發(fā)者建立數(shù)據(jù)市場

　　通常，Data Fabric 架構(gòu)將生成見解并將其直接傳遞給業(yè)務(wù)應(yīng)用程序，或創(chuàng)建分段數(shù)據(jù)存儲庫以供 IT 或您的數(shù)據(jù)團(tuán)隊進(jìn)行分析。還有另一種方法可以利用數(shù)據(jù)結(jié)構(gòu)的潛力——通過一個使公民開發(fā)人員訪問民主化的數(shù)據(jù)市場。

　　對數(shù)據(jù)分析有一定了解并具有多年業(yè)務(wù)分析專業(yè)知識的業(yè)務(wù)用戶可以從這個市場編織數(shù)據(jù)，為新興用例創(chuàng)建新模型。除了實施特定于用例的 BI 之外，企業(yè)還可以授權(quán)公民開發(fā)人員以新的靈活方式利用數(shù)據(jù)結(jié)構(gòu)。

　　6、利用開源技術(shù)

　　在構(gòu)建數(shù)據(jù)結(jié)構(gòu)時，開源可以改變游戲規(guī)則。根據(jù)其定義，數(shù)據(jù)結(jié)構(gòu)意味著可擴(kuò)展和集成就緒，這意味著開源工具最適合其架構(gòu)。

　　開源組件還可以減少您對單一供應(yīng)商的依賴，因為數(shù)據(jù)結(jié)構(gòu)可能涉及巨額投資，即使您稍后選擇更換供應(yīng)商，您也希望保留投資。請務(wù)必查看一個新推出的 Open Data Fabric 項目，該項目使用大數(shù)據(jù)和區(qū)塊鏈來啟用分散的流數(shù)據(jù)處理管道。

　　7、啟用本機(jī)代碼生成

　　本機(jī)代碼生成是一項重要功能，可讓您的 Data Fabric 解決方案自動生成可用于集成的代碼。即使數(shù)據(jù)結(jié)構(gòu)處理傳入的信息，它也可能能夠以各種語言(如 Spark、SQL 和 Java)本地生成優(yōu)化代碼。

　　然后，IT 專業(yè)人員可以利用此代碼集成可能尚不存在 API 和 SDK 的新系統(tǒng)。這種做法將幫助您加快數(shù)字化轉(zhuǎn)型并輕松添加新的數(shù)據(jù)系統(tǒng)，而無需擔(dān)心過度的集成工作或投資。請記住，本機(jī)代碼生成必須與預(yù)構(gòu)建的連接器協(xié)同工作，以使數(shù)據(jù)結(jié)構(gòu)易于使用。

　　8、使數(shù)據(jù)結(jié)構(gòu)適應(yīng)邊緣計算

　　邊緣數(shù)據(jù)結(jié)構(gòu)(也稱為邊緣到云數(shù)據(jù)結(jié)構(gòu))專為支持物聯(lián)網(wǎng)實施而構(gòu)建。它將與數(shù)據(jù)相關(guān)的關(guān)鍵任務(wù)從集中式應(yīng)用程序轉(zhuǎn)移到一個單獨的邊緣層，該邊緣層是分布式的，但與數(shù)據(jù)結(jié)構(gòu)緊密相連。通過使數(shù)據(jù)結(jié)構(gòu)適應(yīng)邊緣計算，企業(yè)可以從其物聯(lián)網(wǎng)設(shè)備中獲得更多價值。

　　例如，智能工廠可以使用邊緣數(shù)據(jù)結(jié)構(gòu)(無需通信)與集中式云自動計算貨物集裝箱的重量，并自動啟動揀貨流程。它以傳統(tǒng)的集中式數(shù)據(jù)湖模型無法實現(xiàn)的方式加速決策并實現(xiàn)自動化操作。

　　05 關(guān)鍵點總結(jié)

　　隨著我們數(shù)據(jù)使用量的增長，數(shù)據(jù)孤島必須越來越多地被打破，以便為互聯(lián)企業(yè)讓路。數(shù)據(jù)結(jié)構(gòu)的實施是這一旅程的重大飛躍——事實上，這是自 1970 年代關(guān)系數(shù)據(jù)庫發(fā)明以來最具革命性的突破之一。這是因為 Data Fabric 不僅僅是一種技術(shù)或產(chǎn)品。它指的是數(shù)據(jù)和業(yè)務(wù)行為緊密交織的架構(gòu)設(shè)計、結(jié)構(gòu)化流程和思維方式轉(zhuǎn)變。以下是企業(yè)必須記住的三個關(guān)鍵要點：

　　Data Fabric 可以顯著減少花費在日常、非增值數(shù)據(jù)管理任務(wù)上的時間——但它可能需要大量的初始投資。

　　一個數(shù)據(jù)結(jié)構(gòu)有七個關(guān)鍵的架構(gòu)組件，API 和 SDK 層最需要注意，以避免被限制在數(shù)據(jù)湖的范圍內(nèi)。

　　根據(jù)定義，數(shù)據(jù)結(jié)構(gòu)是無限可擴(kuò)展的，這意味著您需要隨著企業(yè)的發(fā)展更新和升級架構(gòu)。

　　數(shù)據(jù)結(jié)構(gòu)可以成為使每個流程、應(yīng)用程序和業(yè)務(wù)決策都由數(shù)據(jù)驅(qū)動的秘密成分。記住我們討論的十個最佳實踐并選擇合適的供應(yīng)商以確保在前進(jìn)的道路上取得成功。