關(guān)于元數(shù)據(jù) 值得一看的通俗易懂文章

　　這篇文章出至我的前同事——90后美女程序員(龔菲)。關(guān)于元數(shù)據(jù)、元數(shù)據(jù)管理的文章有很多，但要說(shuō)是最通俗易懂的還得是這一篇。

　　我將文章分為兩大部分，第一部分介紹元數(shù)據(jù)概念，第二部分從幾個(gè)方面說(shuō)明元數(shù)據(jù)管理的應(yīng)用，最后一部分總結(jié)一下元數(shù)據(jù)的重要性，僅代表我的一些個(gè)人觀點(diǎn)，還請(qǐng)各位前輩們不要見(jiàn)笑。

　　01 元數(shù)據(jù)什么鬼?

　　我入職的時(shí)候剛好趕上公司的元數(shù)據(jù)產(chǎn)品升級(jí)換代，同事們的研發(fā)氣氛正火熱，作為新入職菜鳥，總得先了解一下元數(shù)據(jù)概念，不然日后怎么和小伙伴們愉快地玩耍，于是查找國(guó)內(nèi)外相關(guān)材料：

　　一段時(shí)間之后有了一些知識(shí)積累，才發(fā)現(xiàn)用“關(guān)于數(shù)據(jù)的數(shù)據(jù)”來(lái)給元數(shù)據(jù)下定義確實(shí)再準(zhǔn)確不過(guò)了，但同時(shí)也略微抽象，新人難于快速理解，待到上周我們數(shù)據(jù)治理專家從心理學(xué)的角度來(lái)闡述元數(shù)據(jù)之后，我終于也算理解了元數(shù)據(jù)到底是個(gè)啥，今天也算是站在“巨人”的肩膀上，用一種更簡(jiǎn)單的方式來(lái)回答“元數(shù)據(jù)究竟是什么”這個(gè)問(wèn)題…

　　元數(shù)據(jù)是關(guān)于數(shù)據(jù)的描述，存儲(chǔ)著關(guān)于數(shù)據(jù)的信息，為人們更方便地檢索信息提供了幫助。咦?檢索信息?小蝌蚪找媽媽的過(guò)程也是一個(gè)檢索信息的過(guò)程，是不是看懂這個(gè)故事就能懂元數(shù)據(jù)是什么了?

　　池塘里有一群小蝌蚪，他們看見(jiàn)鯉魚媽媽在教小鯉魚捕食，就迎上去，問(wèn)：“鯉魚阿姨，我們的媽媽在哪里?”

　　此時(shí)蝌蚪們意識(shí)到，不對(duì)啊，我們的數(shù)據(jù)庫(kù)里不是應(yīng)該存在著一張Mother表嗎，但是蝌蚪們竟然對(duì)這張表一無(wú)所知，不知道有什么字段，也不知道各個(gè)字段對(duì)應(yīng)的具體數(shù)值：

　　鯉魚媽媽說(shuō)：“你們的媽媽有四條腿，寬嘴巴。你們到那邊去找吧!”

　　鱷魚笑著說(shuō)：“你們的媽媽有兩只大眼睛，披著綠衣裳。你們到那邊去找吧!”…

　　烏龜笑著說(shuō)：“我不是你們的媽媽，你們的媽媽肚皮是白的，到前面去找吧。”…

　　青蛙聽(tīng)了“咯咯”地笑起來(lái)，說(shuō)“唉!傻孩子，我就是你們的媽媽呀!”

　　整個(gè)過(guò)程可以看成是Mother這張表逐步完善的過(guò)程，數(shù)據(jù)來(lái)源分別是鯉魚媽媽、鱷魚媽媽和烏龜媽媽，如下圖所示：

　　對(duì)蝌蚪們最終獲取到的信息進(jìn)行進(jìn)一步抽象，就可以形成一種“元數(shù)據(jù)”，該元數(shù)據(jù)描述了Mother這張表的結(jié)構(gòu)：

　　剛才不是說(shuō)元數(shù)據(jù)能為檢索信息提供幫助嗎，那是不是也說(shuō)明元數(shù)據(jù)能為小蝌蚪找媽媽提供幫助?我們將在第二部分試著對(duì)這個(gè)故事進(jìn)行改編，詳細(xì)介紹小蝌蚪利用元數(shù)據(jù)快速找到媽媽的過(guò)程。

　　02 元數(shù)據(jù)管理的應(yīng)用

　　通常一款元數(shù)據(jù)管理工具應(yīng)具備元模型設(shè)計(jì)、元數(shù)據(jù)采集、元數(shù)據(jù)分析、數(shù)據(jù)地圖展現(xiàn)等核心功能，我們?cè)囍�改編小蝌蚪找媽媽這個(gè)故事，在改編的過(guò)程中理解這幾個(gè)核心功能，前提是我們假設(shè)所有動(dòng)物共同構(gòu)成了一個(gè)龐大的數(shù)據(jù)體系，小蝌蚪們Mother的具體數(shù)據(jù)已經(jīng)存在于此體系之中(鯉魚系統(tǒng)、鱷魚系統(tǒng)、烏龜系統(tǒng))。

　　1、元模型設(shè)計(jì)

　　先解釋一下元模型。如果說(shuō)元數(shù)據(jù)是對(duì)數(shù)據(jù)的描述，那么元模型就是對(duì)元數(shù)據(jù)的描述，是對(duì)元數(shù)據(jù)的進(jìn)一步抽象，三者的關(guān)系如下圖所示：

　　再講一下元模型設(shè)計(jì)的過(guò)程。首先獲取到系統(tǒng)中的所有元數(shù)據(jù)，將這些元數(shù)據(jù)匯總并進(jìn)行合理規(guī)劃，進(jìn)一步抽象成元模型，從一定角度來(lái)說(shuō)，可以把這個(gè)抽象的過(guò)程看成元模型設(shè)計(jì)的過(guò)程。

　　元模型定義了各種元數(shù)據(jù)的結(jié)構(gòu)以及元數(shù)據(jù)之間的關(guān)系，是元數(shù)據(jù)管理的基礎(chǔ)，也就是說(shuō)，如果我們想用元數(shù)據(jù)幫助小蝌蚪找媽媽，需要先設(shè)計(jì)出合理的元模型。下圖是我試著給它們?cè)O(shè)計(jì)出的元模型(對(duì)于企業(yè)來(lái)說(shuō)，真正的元模型設(shè)計(jì)過(guò)程非常復(fù)雜，受多方面因素影響)：

　　我們認(rèn)為小蝌蚪的媽媽(Mother)由若干個(gè)屬性(Property)組成，每個(gè)屬性的名稱用Name表示，每個(gè)屬性的類型用Type表示。

　　現(xiàn)在元模型有了，下一步就是按照這個(gè)設(shè)計(jì)好的元模型采集小蝌蚪們需要的元數(shù)據(jù)信息，也就是我們常說(shuō)的元數(shù)據(jù)采集。

　　2、元數(shù)據(jù)采集

　　設(shè)計(jì)好元模型之后，元數(shù)據(jù)管理工具能通過(guò)全自動(dòng)的方式采集到企業(yè)所需要的元數(shù)據(jù)，在這個(gè)故事中，按照我設(shè)計(jì)好的元模型，元數(shù)據(jù)管理工具的元數(shù)據(jù)采集結(jié)果應(yīng)該如下圖所示：

　　小蝌蚪們拿著這份元數(shù)據(jù)再去針對(duì)性地檢索關(guān)于媽媽的信息，就能一步到位，將目標(biāo)直接鎖定到青蛙，整個(gè)故事將因元數(shù)據(jù)的出現(xiàn)而成功改寫。

　　說(shuō)明：在真實(shí)的企業(yè)數(shù)據(jù)環(huán)境中，數(shù)據(jù)與元數(shù)據(jù)是已經(jīng)存在于系統(tǒng)之中的，元數(shù)據(jù)管理就是根據(jù)企業(yè)現(xiàn)有的元數(shù)據(jù)設(shè)計(jì)出適合企業(yè)的元模型，然后將系統(tǒng)之中的元數(shù)據(jù)按照元模型集中匯總并關(guān)聯(lián)到一起，達(dá)到企業(yè)對(duì)數(shù)據(jù)統(tǒng)一管理與應(yīng)用的目的。

　　3、元數(shù)據(jù)分析

　　a、血緣分析

　　假設(shè)動(dòng)物園園長(zhǎng)慢羊羊正管理著整個(gè)動(dòng)物園的數(shù)據(jù)信息，有一天園長(zhǎng)發(fā)現(xiàn)自己這里有個(gè)數(shù)據(jù)不對(duì)，需要找出錯(cuò)誤數(shù)據(jù)的提供者并追究責(zé)任，那么這個(gè)錯(cuò)誤數(shù)據(jù)來(lái)自于哪個(gè)動(dòng)物家庭呢?挨家挨戶去敲門核對(duì)數(shù)據(jù)顯然不夠高效，元數(shù)據(jù)管理工具的血緣分析功能會(huì)自動(dòng)幫助園長(zhǎng)分析這個(gè)錯(cuò)誤數(shù)據(jù)的上游路徑，比如這個(gè)數(shù)據(jù)是由鯉魚媽媽交給鱷魚媽媽，鱷魚媽媽再提交給園長(zhǎng)的，那么此時(shí)園長(zhǎng)只需要去敲鯉魚和鱷魚家的門就可以了。

　　b、影響分析

　　數(shù)據(jù)終于更正了，此時(shí)園長(zhǎng)需要及時(shí)提醒大家這個(gè)數(shù)據(jù)的更正信息，只需要通知這個(gè)數(shù)據(jù)影響到的動(dòng)物家庭就可以了，這讓園長(zhǎng)十分苦惱，整個(gè)動(dòng)物園的數(shù)據(jù)傳遞這么復(fù)雜，怎么判斷哪個(gè)家庭會(huì)受到這個(gè)數(shù)據(jù)的影響呢，元數(shù)據(jù)管理工具的影響分析功能會(huì)分析出這個(gè)數(shù)據(jù)的影響范并能用可視化的方式展現(xiàn)出來(lái)，園長(zhǎng)只需要通知受影響的動(dòng)物家庭就可以了。

　　c、數(shù)據(jù)地圖展現(xiàn)

　　隨著動(dòng)物園規(guī)模的日益擴(kuò)大，入住的動(dòng)物種類日益增多，有一天園長(zhǎng)想了解動(dòng)物園的整體情況，有多少動(dòng)物家庭，哪個(gè)家庭和哪個(gè)家庭比較要好，哪個(gè)家庭和哪個(gè)家庭又從來(lái)沒(méi)有聯(lián)系，此時(shí)元數(shù)據(jù)管理工具的數(shù)據(jù)地圖可以幫助園長(zhǎng)獲取到他想要的信息，數(shù)據(jù)地圖展現(xiàn)功能可以通過(guò)可視化的方式，讓園長(zhǎng)對(duì)整個(gè)動(dòng)物園的情況了如指掌，幫助它更好地觀察整個(gè)動(dòng)物園的情況。

　　03 元數(shù)據(jù)的重要性

　　在大數(shù)據(jù)時(shí)代的背景下，數(shù)據(jù)即資產(chǎn)，元數(shù)據(jù)實(shí)現(xiàn)了信息的描述和分類的格式化，從而為機(jī)器處理創(chuàng)造了可能，它能幫助企業(yè)更好地對(duì)數(shù)據(jù)資產(chǎn)進(jìn)行管理，理清數(shù)據(jù)之間的關(guān)系。元數(shù)據(jù)管理是企業(yè)提升數(shù)據(jù)質(zhì)量的基礎(chǔ)，也是企業(yè)數(shù)據(jù)治理中的關(guān)鍵環(huán)節(jié)。元數(shù)據(jù)管理不當(dāng)，信息很容易被丟失，進(jìn)而不能對(duì)業(yè)務(wù)進(jìn)行有效支撐，企業(yè)內(nèi)部業(yè)務(wù)人員要識(shí)別相關(guān)信息就會(huì)變得十分困難，最終用戶也將失去對(duì)數(shù)據(jù)的信任。