蔡致暖：云原生時代數(shù)據(jù)管道的迭代之路

　　在如今數(shù)據(jù)被稱為新經(jīng)濟時代的石油的大背景下，數(shù)據(jù)管道是什么?處于什么位置?其技術和演進趨勢又是怎么樣的?

　　2022年7月12日，在CSDN云原生系列在線峰會第13期“現(xiàn)代數(shù)據(jù)棧峰會”上，針對這些連續(xù)發(fā)問，下秒數(shù)據(jù)CEO蔡致暖對數(shù)據(jù)管道1.0至3.0的迭代過程及技術特點進行了詳細介紹。

　　數(shù)據(jù)管道和ETL

　　數(shù)據(jù)管道是一種重要的數(shù)據(jù)基礎設施，ETL管道是最常用的數(shù)據(jù)管道。

　　數(shù)據(jù)基礎設施是底座，數(shù)據(jù)管道作為數(shù)據(jù)庫及數(shù)據(jù)倉庫的最佳拍檔，也是一種重要的數(shù)據(jù)基礎設施。

　　在了解數(shù)據(jù)管道具體是什么之前，首先要了解什么是ETL管道。ETL管道是從其源系統(tǒng)/數(shù)據(jù)庫中提取數(shù)據(jù)，對數(shù)據(jù)進行轉換，然后將其加載到數(shù)據(jù)倉庫或數(shù)據(jù)庫中，從中獲取業(yè)務見解。

　　數(shù)據(jù)管道包含ETL管道，因為對于數(shù)據(jù)管道來說，數(shù)據(jù)的目的地不一定是數(shù)據(jù)庫或數(shù)據(jù)倉庫，也可以是其他的應用程序，并且支持整個組織的數(shù)據(jù)編排、管理和使用。

　　數(shù)據(jù)管道中的步驟通常包括提取、轉換、組合、驗證、可視化以及其他此類數(shù)據(jù)分析過程。如果沒有數(shù)據(jù)管道，這些過程需要大量耗時而繁瑣的手動步驟，并給人為錯誤留下空間。數(shù)據(jù)管道的最佳類比是傳送帶，它能高效、準確地將數(shù)據(jù)傳送到流程的每一步。例如，數(shù)據(jù)管道可幫助數(shù)據(jù)從SaaS應用高效地流向數(shù)據(jù)倉庫等。

　　為什么說數(shù)據(jù)管道是重要的數(shù)據(jù)基礎設施?

　　現(xiàn)如今企業(yè)數(shù)據(jù)孤島變得普遍，各類SaaS應用的使用頻率越來越高。數(shù)據(jù)管道解決的是如何自動化地把不同來源的數(shù)據(jù)傳遞給組織中的人、系統(tǒng)、應用程序，并將數(shù)據(jù)轉化為業(yè)務價值。數(shù)據(jù)管道扮演的不僅僅是一個數(shù)據(jù)傳送帶的作用，它還需要把不同來源的數(shù)據(jù)，經(jīng)過技術手段變成業(yè)務價值再傳送出去，最終讓組織方便地使用數(shù)據(jù)。

　　數(shù)據(jù)管道1.0：ETL技術和數(shù)據(jù)倉庫

　　數(shù)據(jù)管道1.0的關鍵詞是ETL與數(shù)據(jù)倉庫，基于傳統(tǒng)ETL技術構建數(shù)據(jù)倉庫的的過程可劃分為五步：

　　定義數(shù)據(jù)項目及相關業(yè)務需求;

　　確定項目的相關數(shù)據(jù)源;

　　定義特定業(yè)務問題所需的數(shù)據(jù)模型(Schema);

　　構建ETL管道(提取、轉換和加載函數(shù));

　　進行數(shù)據(jù)分析并獲得業(yè)務見解。

　　其關鍵特征在于，數(shù)據(jù)在加載到數(shù)據(jù)倉庫之前需進行轉換。這是因為在20世紀90年代，存儲、計算和帶寬十分昂貴，因此在將數(shù)據(jù)裝入倉庫之前減少數(shù)據(jù)量至關重要。

　　傳統(tǒng)ETL技術的局限性

　　隨著數(shù)據(jù)處理技術的不斷演進，傳統(tǒng)ETL技術難以適應業(yè)務的發(fā)展，有較多弊端顯現(xiàn)：

　　不夠靈活、伸縮性差，一旦業(yè)務規(guī)則變化，管道需重新設計;

　　需持續(xù)維護，開發(fā)工程師要深度參與，維護成本高;

　　技術復雜，可以使用各種不同的編程語言。

　　案例解析——業(yè)務邏輯稍復雜，維護成本奇高無比

　　上圖是一個典型的使用Kettle構建的數(shù)據(jù)管道，涉及節(jié)點數(shù)量20余。在業(yè)務變化和需求修改增多的情況下，數(shù)據(jù)管道的復雜度和維護成本都會奇高無比。

　　數(shù)據(jù)管道2.0：ELT和云計算/大數(shù)據(jù)

　　數(shù)據(jù)管道2.0的主要目標依舊是構建數(shù)據(jù)倉庫，其關鍵詞是ELT與云計算/大數(shù)據(jù)。

　　在2.0階段，我們將ETL技術更換為ELT技術，這是因為隨著大數(shù)據(jù)與云計算的發(fā)展，存儲、計算和帶寬成本大幅下降，組織可以在數(shù)據(jù)倉庫中加載大量未轉換的數(shù)據(jù)，而不必擔心成本和限制。

　　ELT管道從源系統(tǒng)中提取數(shù)據(jù)并將其直接加載到數(shù)據(jù)倉庫中，無需進行轉換。數(shù)據(jù)入庫后針對特定業(yè)務，基于SQL或DBT(SQL擴展)等工具進行轉換和建模。

　　ELT解決了傳統(tǒng)ETL技術的痛點

　　ELT更加靈活，每個數(shù)據(jù)源的數(shù)據(jù)都可以存入庫中，EL過程不涉及業(yè)務轉化，可以實現(xiàn)標準化，進而可以按需擴展數(shù)據(jù)源、按需建模;

　　ELT更加普適，轉換和建模不再依賴編程語言，入庫后使用SQL即可;

　　ELT更加健壯，轉換層的故障(如上游架構或下游數(shù)據(jù)模型更改時)不會阻止數(shù)據(jù)加載。

　　數(shù)據(jù)管道3.0：連接器和API經(jīng)濟

　　雖然數(shù)據(jù)管道2.0已經(jīng)實現(xiàn)了將數(shù)據(jù)都存入數(shù)據(jù)倉庫中，但轉換和建模依然對技術具有高要求。以往做數(shù)據(jù)集成多以數(shù)據(jù)庫或文件為目標，但隨著近年來SaaS應用的普及，組織使用不同的應用及工具開展營銷和經(jīng)營活動，數(shù)據(jù)集成的技術門檻并沒有因為ELT的到來而降低。

　　數(shù)據(jù)管道3.0——基于連接器和API經(jīng)濟，自動化價值數(shù)據(jù)的流動

　　實際上，數(shù)據(jù)管道3.0及數(shù)據(jù)管道2.0的ELT都是現(xiàn)代數(shù)據(jù)棧的組成部分。相較數(shù)據(jù)管道2.0，數(shù)據(jù)管道3.0主要在兩個方面做出了改變。

　　數(shù)據(jù)連接器的標準化和商品化：ELT為數(shù)據(jù)連接器的標準化打下了堅實基礎，將問題轉換為如何使數(shù)據(jù)連接器更易于構建;

　　數(shù)據(jù)分析結果不應該封閉在數(shù)據(jù)倉庫或BI工具中，應該通過API或數(shù)據(jù)編排自動化，推動組織中價值數(shù)據(jù)的流動，如反向ETL。

　　數(shù)據(jù)管道3.0的主要特征

　　用戶特征

　　用戶無需關注技術，通過簡單的配置就可以完成數(shù)據(jù)的連接處理分析，降低對開發(fā)人員的依賴;

　　彈性的工作負載，按用量付費。

　　技術特征

　　連接器標準化，數(shù)據(jù)集成可重用，大幅降低數(shù)據(jù)集成的成本及技術門檻;

　　轉換、建模以數(shù)據(jù)倉庫和SQL為中心。

　　生態(tài)特征

　　易與其他工具(包括傳統(tǒng)ETL工具)集成;

　　利用社區(qū)的力量來構建與維護連接器和模板化的數(shù)據(jù)模型。

　　總結

　　數(shù)據(jù)管道是一項重要的數(shù)據(jù)基礎設施，使用智能數(shù)據(jù)管道技術，能夠幫助組織將所有應用程序、數(shù)據(jù)庫、事件和文件等數(shù)據(jù)信息提取到數(shù)據(jù)倉庫中，并快速將分散的數(shù)據(jù)轉化為數(shù)據(jù)集、API、自動化流程等開箱即用的數(shù)據(jù)服務，釋放數(shù)據(jù)的價值。