銀行數(shù)據(jù)治理：數(shù)據(jù)質(zhì)量管理實(shí)踐

　　現(xiàn)代商業(yè)銀行日常經(jīng)營(yíng)活動(dòng)中積累了大量數(shù)據(jù)，這些數(shù)據(jù)除了支持銀行前臺(tái)業(yè)務(wù)流程運(yùn)轉(zhuǎn)之外，越來(lái)越多地被用于決策支持領(lǐng)域，風(fēng)險(xiǎn)控制、產(chǎn)品定價(jià)、績(jī)效考核等管理決策過程也都需要大量高質(zhì)量數(shù)據(jù)支持。銀行日常經(jīng)營(yíng)決策過程的背后，實(shí)質(zhì)是數(shù)據(jù)的生產(chǎn)、傳遞和利用過程。

　　此外，日益全面的和嚴(yán)格的監(jiān)管措施和信息披露要求，也對(duì)銀行數(shù)據(jù)提出了前所未有的挑戰(zhàn)。如果不能對(duì)這些數(shù)據(jù)進(jìn)行有效管理，其價(jià)值就得不到很好體現(xiàn)，甚至?xí)�給運(yùn)營(yíng)管理帶來(lái)負(fù)面作用，具體表現(xiàn)為：

　　一是缺乏統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，難以建立全面、準(zhǔn)確、完整地反映企業(yè)運(yùn)營(yíng)狀況的單一數(shù)據(jù)視圖，難以做到數(shù)據(jù)的邏輯整合而不僅僅是物理集中;

　　二是缺乏規(guī)范的數(shù)據(jù)質(zhì)量治理流程和考核機(jī)制，不能及時(shí)發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題，或缺乏有效解決途徑;

　　三是對(duì)數(shù)據(jù)采集、分布、流轉(zhuǎn)及應(yīng)用的規(guī)劃存在不合理現(xiàn)象，數(shù)據(jù)需求、數(shù)據(jù)質(zhì)量、數(shù)據(jù)應(yīng)用等問題的管理和解決分散在不同業(yè)務(wù)和技術(shù)部門，沒有一個(gè)清晰的協(xié)調(diào)機(jī)制和統(tǒng)一的報(bào)告渠道，業(yè)務(wù)不能及時(shí)、按需獲得數(shù)據(jù)支持;

　　四是缺乏有效的數(shù)據(jù)安全管理機(jī)制，對(duì)敏感信息的訪問缺乏有效控制，對(duì)銀行形成潛在的聲譽(yù)和法律風(fēng)險(xiǎn)等。為使這些數(shù)據(jù)“包袱”變成“金礦”，數(shù)據(jù)治理體系的構(gòu)建就變得尤為重要和迫切。

　　01 數(shù)據(jù)治理體系簡(jiǎn)介

　　數(shù)據(jù)治理是為滿足企業(yè)內(nèi)部信息需求，提升企業(yè)信息服務(wù)水準(zhǔn)而制定的相關(guān)流程、政策、標(biāo)準(zhǔn)以及相關(guān)技術(shù)手段，用于保證信息的可用性、可獲取性、高質(zhì)量、一致性以及安全性。數(shù)據(jù)治理體系建設(shè)的目的，是建立數(shù)據(jù)擁有者、使用者、數(shù)據(jù)以及支撐系統(tǒng)之間的和諧互補(bǔ)關(guān)系，從全企業(yè)視角協(xié)調(diào)、統(tǒng)領(lǐng)各個(gè)層面的數(shù)據(jù)管理工作，確保內(nèi)部各類人員能夠得到及時(shí)、準(zhǔn)確的數(shù)據(jù)支持和服務(wù)。通常認(rèn)為，數(shù)據(jù)治理至少應(yīng)當(dāng)涵蓋如下功能域：數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)安全管理和主數(shù)據(jù)管理，現(xiàn)對(duì)上述功能域說(shuō)明如下：

　　1.數(shù)據(jù)質(zhì)量管理

　　對(duì)支持業(yè)務(wù)需求的數(shù)據(jù)進(jìn)行全面質(zhì)量管理，通過數(shù)據(jù)質(zhì)量相關(guān)管理辦法、組織、流程、評(píng)價(jià)考核規(guī)則的制定，及時(shí)發(fā)現(xiàn)并解決數(shù)據(jù)質(zhì)量問題，提升數(shù)據(jù)的完整性、及時(shí)性、準(zhǔn)確性及一致性，提升業(yè)務(wù)價(jià)值。

　　2.元數(shù)據(jù)管理

　　元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù)，即對(duì)數(shù)據(jù)的描述信息。根據(jù)其屬性的不同，元數(shù)據(jù)可分為技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)。元數(shù)據(jù)管理是元數(shù)據(jù)的定義、收集、管理和發(fā)布的方法、工具及流程的集合，通過完成對(duì)相關(guān)業(yè)務(wù)元數(shù)據(jù)及技術(shù)元數(shù)據(jù)的集成及應(yīng)用，提供數(shù)據(jù)路徑、數(shù)據(jù)歸屬信息，并對(duì)業(yè)務(wù)術(shù)語(yǔ)、文檔進(jìn)行集中管理，借助變更報(bào)告、影響分析以及業(yè)務(wù)術(shù)語(yǔ)管理等應(yīng)用， 以此保證數(shù)據(jù)的完整性、控制數(shù)據(jù)質(zhì)量、減少業(yè)務(wù)術(shù)語(yǔ)歧義和建立業(yè)務(wù)人員之間、技術(shù)人員之間，以及雙方的溝通平臺(tái)。

　　3.數(shù)據(jù)標(biāo)準(zhǔn)管理

　　通過建立一整套數(shù)據(jù)規(guī)范、管控流程和技術(shù)工具來(lái)確保銀行各種重要信息，包括產(chǎn)品、客戶、機(jī)構(gòu)、賬戶等信息在全行內(nèi)外使用和交換的一致和準(zhǔn)確。數(shù)據(jù)標(biāo)準(zhǔn)可分為技術(shù)標(biāo)準(zhǔn)和業(yè)務(wù)標(biāo)準(zhǔn)。

　　4.數(shù)據(jù)安全管理

　　通過建立對(duì)數(shù)據(jù)及相關(guān)信息系統(tǒng)進(jìn)行保護(hù)的一系列措施， 確保數(shù)據(jù)免遭未經(jīng)授權(quán)的訪問、使用、修改或刪除，保證數(shù)據(jù)完整性、保密性和可用性，具體可分為管理和技術(shù)兩大類措施。

　　5.主數(shù)據(jù)管理

　　主數(shù)據(jù)指描述核心業(yè)務(wù)實(shí)體的數(shù)據(jù)，如客戶、機(jī)構(gòu)、員工、產(chǎn)品等。這些數(shù)據(jù)變化相對(duì)緩慢并通常在企業(yè)內(nèi)跨業(yè)務(wù)重復(fù)使用。主數(shù)據(jù)管理適用于管理、協(xié)調(diào)、監(jiān)控與企業(yè)主要業(yè)務(wù)實(shí)體相關(guān)聯(lián)的主數(shù)據(jù)的一系列規(guī)則、技術(shù)、應(yīng)用、策略和程序。

　　02 數(shù)據(jù)質(zhì)量管理簡(jiǎn)介

　　業(yè)界普遍認(rèn)可的數(shù)據(jù)質(zhì)量定義為數(shù)據(jù)對(duì)其期望目的的適合度，即數(shù)據(jù)質(zhì)量管理生命周期及其相關(guān)的數(shù)據(jù)質(zhì)量管理流程，都要為確保數(shù)據(jù)滿足其自身預(yù)期目標(biāo)提供相應(yīng)的方法和手段。

　　數(shù)據(jù)質(zhì)量管理基礎(chǔ)和問題分類

　　下列要素是進(jìn)行數(shù)據(jù)質(zhì)量管理的基礎(chǔ)：

　　1.數(shù)據(jù)質(zhì)量的好壞是由用戶以及數(shù)據(jù)使用價(jià)值所決定的。

　　2.數(shù)據(jù)質(zhì)量的好壞代表著數(shù)據(jù)在數(shù)據(jù)知識(shí)應(yīng)用中、數(shù)據(jù)所存在的系統(tǒng)中以及數(shù)據(jù)使用過程中被應(yīng)用或者有價(jià)值的程度。

　　3.只有當(dāng)數(shù)據(jù)被下游過程(系統(tǒng)或用戶)所接收并使用時(shí)，數(shù)據(jù)質(zhì)量問題的研討才有意義。

　　4.數(shù)據(jù)是持續(xù)變更的，數(shù)據(jù)質(zhì)量管理是一個(gè)持續(xù)過程而不是一次性活動(dòng)。

　　銀行關(guān)注的常見數(shù)據(jù)質(zhì)量問題可以歸成如下7類：

　　1.定義缺失，指缺少關(guān)鍵業(yè)務(wù)元素定義，導(dǎo)致對(duì)同一字段的理解偏差。例如，

　　什么是“一個(gè)客戶”，不同業(yè)務(wù)有不同理解，通常風(fēng)險(xiǎn)應(yīng)用將組織機(jī)構(gòu)號(hào)作為對(duì)公客戶的“身份證”，一個(gè)組織機(jī)構(gòu)號(hào)代表一個(gè)客戶;而核心系統(tǒng)對(duì)客戶號(hào)的分配較為隨意，允許一個(gè)組織機(jī)構(gòu)號(hào)下存在多個(gè)客戶號(hào)。

　　2.數(shù)據(jù)異常，指系統(tǒng)的個(gè)別字段出現(xiàn)了異常信息，包括取值錯(cuò)誤，格式錯(cuò)誤、多余字符、亂碼等。

　　3.信息缺失或不準(zhǔn)確，指在系統(tǒng)表中已經(jīng)設(shè)計(jì)了某些字段，但在使用過程中， 很多記錄卻沒有收集這些字段的信息，或存在信息收集不準(zhǔn)確、信息重復(fù)登記等情況。信息缺失或不準(zhǔn)確通常在客戶信息方面最為嚴(yán)重。

　　4.系統(tǒng)之間數(shù)據(jù)不一致，主要體現(xiàn)在兩個(gè)方面：

　　(1)系統(tǒng)間數(shù)據(jù)維護(hù)不一致。為了滿足各個(gè)系統(tǒng)內(nèi)部邏輯、提高訪問效率和減少數(shù)據(jù)傳輸，相同信息可能在不同系統(tǒng)進(jìn)行冗余存放。但冗余存放的數(shù)據(jù)如果不進(jìn)行同步或及時(shí)的數(shù)據(jù)維護(hù)，則必會(huì)導(dǎo)致這些數(shù)據(jù)的不一致。例如，銀行通常存在核心系統(tǒng)與信貸系統(tǒng)數(shù)據(jù)不一致的問題。

　　(2)系統(tǒng)之間數(shù)據(jù)同步時(shí)效性造成的不一致。典型案例如下：由于某些銀行的貸記卡系統(tǒng)是外包系統(tǒng)，因此總賬系統(tǒng)在 T+1 日才能取到貸記卡 T 日的數(shù)據(jù)，但是其他系統(tǒng)的科目余額缺失 T+1 日的數(shù)據(jù)，于是此種同步時(shí)效性的差異就導(dǎo)致了系統(tǒng)之間數(shù)據(jù)不一致。

　　5.數(shù)據(jù)完整性問題。數(shù)據(jù)完整性問題主要體現(xiàn)在兩個(gè)方面：(1)參照完整性，是指一個(gè)表 A的外鍵不包含無(wú)效的鍵值，例如，借據(jù)表中記錄了合同號(hào)，但是在合同表中無(wú)法找到相關(guān)記錄;(2)數(shù)據(jù)含義沖突，如某些賬戶，從賬戶屬性、存期等字段看，應(yīng)是通知存款產(chǎn)品，但從科目看，又是普通定期產(chǎn)品。

　　6.數(shù)據(jù)生命周期問題。銀行中的關(guān)鍵數(shù)據(jù)，例如，賬戶、客戶、產(chǎn)品信息等， 都有若干日期字段記錄其生命周期，這些日期字段包括創(chuàng)建/開戶日期、關(guān)閉/

　　銷戶日期、最后交易日期和最后修改日期等，但是在業(yè)務(wù)系統(tǒng)中往往存在修改了記錄狀態(tài)卻并未同步更新相關(guān)日期字段的情況。此外，還有一個(gè)違反合理數(shù)據(jù)生命周期的常見做法，就是直接在物理上刪除記錄。

　　7.代碼問題。包括三個(gè)與代碼相關(guān)的問題：

　　(1)代碼不統(tǒng)一問題，即不同應(yīng)用之間相同用途代碼的編碼不一致;

　　(2)未代碼化問題，即常見情況使用文字存儲(chǔ)，而非將信息代碼化，很多時(shí)候會(huì)發(fā)現(xiàn)信息存儲(chǔ)的不少，但卻不便于分析使用。

　　(3)意外代碼，即實(shí)際數(shù)據(jù)中出現(xiàn)了未定義的代碼值。

　　03 數(shù)據(jù)質(zhì)量管理方法論

　　圖 1 描述了權(quán)威人士普遍認(rèn)可的數(shù)據(jù)質(zhì)量管理方法論，共分六步。

　　圖1 數(shù)據(jù)質(zhì)量提升步驟圖

　　第一步：定義及驗(yàn)證

　　首先，從技術(shù)和業(yè)務(wù)兩個(gè)層面對(duì)數(shù)據(jù)應(yīng)當(dāng)滿足的質(zhì)量目標(biāo)進(jìn)行定義。表1列出了一系列數(shù)據(jù)質(zhì)量度量標(biāo)準(zhǔn)，但最終的定義應(yīng)當(dāng)以更規(guī)范的形式進(jìn)行描述。例如，屬性 X的缺失率不超過2%。其次，對(duì)于派生數(shù)據(jù)，其源數(shù)據(jù)和轉(zhuǎn)換的規(guī)則必須詳細(xì)說(shuō)明。最后，上面描述的定義和規(guī)則將作為數(shù)據(jù)質(zhì)量評(píng)估計(jì)劃的輸入源。數(shù)據(jù)質(zhì)量評(píng)估計(jì)劃主要用來(lái)驗(yàn)證定義和規(guī)則的正確性，并且這個(gè)計(jì)劃將詳細(xì)描述數(shù)據(jù)必須滿足的、適合它預(yù)期用途的屬性，即它定義了數(shù)據(jù)質(zhì)量。這個(gè)計(jì)劃還將指導(dǎo)初始的數(shù)據(jù)度量，通常也成為數(shù)據(jù)剖析。

　　表1 數(shù)據(jù)質(zhì)量度量標(biāo)準(zhǔn)

　　第二步：影響分析與共性分析

　　完成數(shù)據(jù)質(zhì)量目標(biāo)定義后，需要評(píng)估一個(gè)特定的數(shù)據(jù)質(zhì)量問題在預(yù)期的數(shù)據(jù)使用適合性方面帶來(lái)的影響，并根據(jù)影響分析結(jié)果可以確定數(shù)據(jù)質(zhì)量問題的重要性與優(yōu)先級(jí)別。

　　所謂共性分析就是分析錯(cuò)誤具有的共性，我們期望一次可以將許多錯(cuò)誤歸結(jié)到某類共同原因。這個(gè)分析將為下一步追蹤根本原因做好準(zhǔn)備。

　　第三步：追蹤根本原因

　　圖 2 所示魚骨圖是一個(gè)眾所周知的用于鑒別數(shù)據(jù)質(zhì)量背后根本原因的工具，它反映了需要達(dá)到的和實(shí)際的數(shù)據(jù)質(zhì)量之間的差距原因，通常是信息、流程、技術(shù)、人員等因素所導(dǎo)致。

　　第四步：預(yù)防/修復(fù)數(shù)據(jù)質(zhì)量問題

　　圖 3 描述了在追蹤數(shù)據(jù)質(zhì)量問題的根本原因時(shí)可用到的選擇。每一個(gè)選擇都有相關(guān)的優(yōu)點(diǎn)和弱點(diǎn)。

　　1.導(dǎo)致數(shù)據(jù)質(zhì)量問題的根本原因，最常見的有人員、流程、業(yè)務(wù)系統(tǒng)前端、業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)、數(shù)據(jù)抽取和加載過程等方面處理不當(dāng)，這些因素都有可能產(chǎn)生數(shù)據(jù)質(zhì)量問題。對(duì)于圖3前三項(xiàng)(人員、流程、業(yè)務(wù)系統(tǒng)前端)，重點(diǎn)在于預(yù)防，對(duì)于后三項(xiàng)(業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)，抽取、加載)，則通常通過修復(fù)的手段來(lái)解決。

　　2.每類數(shù)據(jù)質(zhì)量問題的預(yù)防/修復(fù)都有有利和不利的一面，比如，由于人員產(chǎn)生的質(zhì)量問題，有利方面是可以再源頭預(yù)防，不利方面在于人員往往會(huì)疏于管理、容易遺忘以及不同人員的差異性、專注點(diǎn)不同，這些都會(huì)不可避免地產(chǎn)生一定的數(shù)據(jù)質(zhì)量問題。

　　圖2 數(shù)據(jù)質(zhì)量根本原因圖

　　3.涉及的數(shù)據(jù)量。通常數(shù)據(jù)質(zhì)量問題需要修復(fù)的數(shù)據(jù)量有大致規(guī)律，如人員、流程、前端應(yīng)用產(chǎn)生的質(zhì)量問題需要修復(fù)的數(shù)據(jù)量往往不大，而數(shù)據(jù)庫(kù)處理、數(shù)據(jù)抽取和加載等后臺(tái)環(huán)節(jié)導(dǎo)致的數(shù)據(jù)質(zhì)量問題通常設(shè)計(jì)的數(shù)據(jù)量較大。對(duì)于已經(jīng)發(fā)生的數(shù)據(jù)質(zhì)量問題，只能通過修復(fù)措施解決，但是從長(zhǎng)遠(yuǎn)來(lái)看，重視預(yù)防措施， 在源頭控制錯(cuò)誤的產(chǎn)生更為重要。

　　圖 3 預(yù)防/修復(fù)數(shù)據(jù)質(zhì)量問題圖

　　第五步：趨勢(shì)監(jiān)控

　　一個(gè)已知的數(shù)據(jù)質(zhì)量問題被修復(fù)后并不意味著這個(gè)特定問題就被永遠(yuǎn)解決了。如果沒有有效地預(yù)防措施，錯(cuò)誤仍有可能再現(xiàn)。因此，對(duì)重要數(shù)據(jù)質(zhì)量問題應(yīng)當(dāng)持續(xù)監(jiān)控。圖 4 所示控制圖經(jīng)常被用來(lái)做質(zhì)量問題監(jiān)控，當(dāng)錯(cuò)誤的個(gè)數(shù)在一定范圍之內(nèi)浮動(dòng)時(shí)，質(zhì)量問題被認(rèn)為處于可控狀態(tài)。

　　圖 4 數(shù)據(jù)質(zhì)量趨勢(shì)監(jiān)控圖

　　第六步：識(shí)別和研究偏差

　　監(jiān)控流程來(lái)識(shí)別問題。例如，當(dāng)一個(gè)已知數(shù)據(jù)的質(zhì)量超過了允許的控制范圍， 流程將需要從該分支返回到第三步再一次識(shí)別根本原因。

　　圖 5 識(shí)別和研究偏差圖

　　04 數(shù)據(jù)質(zhì)量問題特征分析

　　根據(jù)數(shù)據(jù)質(zhì)量定義，數(shù)據(jù)的不同使用目的會(huì)導(dǎo)致不同的數(shù)據(jù)質(zhì)量要求，例如， 業(yè)務(wù)系統(tǒng)對(duì)數(shù)據(jù)的使用目的主要是為了保證業(yè)務(wù)流程的正常運(yùn)轉(zhuǎn)和滿足一些簡(jiǎn)單的統(tǒng)計(jì)功能，因此只要業(yè)務(wù)流程和統(tǒng)計(jì)正常，就可以認(rèn)為數(shù)據(jù)質(zhì)量滿足要求;而分析型系統(tǒng)對(duì)數(shù)據(jù)的使用目的則多種多樣，而且涵蓋企業(yè)運(yùn)營(yíng)的方方面面，那么滿足業(yè)務(wù)流程正常運(yùn)轉(zhuǎn)的需要并不一定就能保證滿足分析的需求，因此分析型應(yīng)用的需求是決定數(shù)據(jù)質(zhì)量管理目標(biāo)的主要因素。

　　在這一前提下，對(duì)企業(yè)內(nèi)部數(shù)據(jù)流轉(zhuǎn)過程各環(huán)節(jié)中呈現(xiàn)出來(lái)的數(shù)據(jù)質(zhì)量問題特性作如下分析，如圖6所示，數(shù)據(jù)流轉(zhuǎn)過程被分成三個(gè)階段(環(huán)節(jié))：

　　1.數(shù)據(jù)生產(chǎn)環(huán)節(jié)：企業(yè)內(nèi)部的原始數(shù)據(jù)，絕大部分都產(chǎn)生自業(yè)務(wù)源系統(tǒng)，很少量的增值數(shù)據(jù)(Value-addedata)產(chǎn)生于分析型系統(tǒng)。

　　2.數(shù)據(jù)集成環(huán)節(jié)：在基礎(chǔ)數(shù)據(jù)平臺(tái)類系統(tǒng)(ODS/數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市)中，集成來(lái)自不同源系統(tǒng)的數(shù)據(jù)，并按照數(shù)據(jù)模型整合。

　　3.數(shù)據(jù)使用環(huán)節(jié)：由各類分析型應(yīng)用組成，也包括隨機(jī)業(yè)務(wù)查詢、數(shù)據(jù)分析、數(shù)據(jù)挖掘等信息訪問手段。

　　從圖6中可以看到，數(shù)據(jù)質(zhì)量問題的產(chǎn)生主要在于數(shù)據(jù)產(chǎn)生環(huán)節(jié)，其次在于數(shù)據(jù)集成環(huán)節(jié)的數(shù)據(jù)加工過程，而在數(shù)據(jù)使用環(huán)節(jié)，由于原則上不再對(duì)數(shù)據(jù)作修改，因此基本上不產(chǎn)生數(shù)據(jù)質(zhì)量問題。

　　圖 6 數(shù)據(jù)質(zhì)量問題分析圖

　　數(shù)據(jù)質(zhì)量問題的發(fā)現(xiàn)則不同，基本呈現(xiàn)出相反特征：一是業(yè)務(wù)源系統(tǒng)雖然是數(shù)據(jù)的主要產(chǎn)生環(huán)節(jié)，但是通常只能發(fā)現(xiàn)業(yè)務(wù)流程相關(guān)的數(shù)據(jù)質(zhì)量問題，而且僅限于本系統(tǒng)內(nèi)部;二是數(shù)據(jù)集成環(huán)節(jié)由于是企業(yè)內(nèi)部數(shù)據(jù)的一個(gè)最主要會(huì)聚點(diǎn)，因此通常也是數(shù)據(jù)質(zhì)量問題暴露最多的環(huán)節(jié);三是數(shù)據(jù)使用環(huán)節(jié)是數(shù)據(jù)質(zhì)量問題頻繁暴露的另一個(gè)環(huán)節(jié)，主要是因?yàn)閷?duì)數(shù)據(jù)的使用決定了數(shù)據(jù)質(zhì)量問題的定義，所以很多質(zhì)量問題都是在使用時(shí)被首次發(fā)現(xiàn)。

　　05 在不同流轉(zhuǎn)環(huán)節(jié)關(guān)注的數(shù)據(jù)質(zhì)量

　　基于數(shù)據(jù)質(zhì)量管理的關(guān)鍵環(huán)節(jié)和質(zhì)量問題特性，再結(jié)合業(yè)界事實(shí)數(shù)據(jù)質(zhì)量管理的最佳實(shí)踐，建議在不同流轉(zhuǎn)環(huán)節(jié)側(cè)重完成的功能點(diǎn)實(shí)現(xiàn)應(yīng)如下：

　　1.數(shù)據(jù)產(chǎn)生環(huán)節(jié)。

　　修正——數(shù)據(jù)質(zhì)量問題必須在源頭得到修正，這是數(shù)據(jù)質(zhì)量管理的一項(xiàng)基本原則。

　　預(yù)防——相對(duì)于修正，預(yù)防的意義更大，主要原因在于可以防止產(chǎn)生新的數(shù)據(jù)質(zhì)量問題。

　　定義——由于數(shù)據(jù)質(zhì)量問題的定義主要取決于使用目的原則，因此數(shù)據(jù)質(zhì)量問題的定義主要應(yīng)當(dāng)結(jié)合數(shù)據(jù)使用環(huán)節(jié)來(lái)發(fā)起，但事實(shí)上常常都是基于源系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)來(lái)進(jìn)行定義。

　　2.數(shù)據(jù)集成環(huán)節(jié)。

　　檢查——技術(shù)數(shù)據(jù)平臺(tái)類系統(tǒng)作為銀行數(shù)據(jù)的主要會(huì)聚點(diǎn)，在此環(huán)節(jié)進(jìn)行數(shù)據(jù)質(zhì)量問題檢查的效用最高。

　　報(bào)告——對(duì)于數(shù)據(jù)質(zhì)量檢查結(jié)果，應(yīng)當(dāng)以報(bào)告形式展開，并通過一定的機(jī)制(自動(dòng)工作流程或人工流程)通知相關(guān)的數(shù)據(jù)質(zhì)量問題責(zé)任人，如業(yè)務(wù)源系統(tǒng)項(xiàng)目組、業(yè)務(wù)部門、數(shù)據(jù)倉(cāng)庫(kù)或應(yīng)用項(xiàng)目組等。

　　跟蹤——由于來(lái)自業(yè)務(wù)源系統(tǒng)的數(shù)據(jù)每天都會(huì)加載到基礎(chǔ)數(shù)據(jù)平臺(tái)類系統(tǒng)中，因此，基礎(chǔ)數(shù)據(jù)平臺(tái)類系統(tǒng)應(yīng)當(dāng)被利用來(lái)對(duì)數(shù)據(jù)質(zhì)量問題的解決進(jìn)行跟蹤，并將跟蹤結(jié)果作為提升數(shù)據(jù)質(zhì)量問題治理成效的一個(gè)依據(jù)。

　　3.數(shù)據(jù)使用環(huán)節(jié)。

　　定義——如前所述，在數(shù)據(jù)使用環(huán)節(jié)就根據(jù)數(shù)據(jù)的使用目標(biāo)來(lái)定義數(shù)據(jù)應(yīng)當(dāng)滿足的質(zhì)量標(biāo)準(zhǔn)，并作為日后上下游系統(tǒng)之間服務(wù)水平協(xié)議(Service LevelAgreement,SLA)的輸入接口。

　　評(píng)估——作為數(shù)據(jù)的最終使用者，在使用環(huán)節(jié)應(yīng)當(dāng)對(duì)數(shù)據(jù)質(zhì)量治理的成效進(jìn)行評(píng)估，并作為下一階段設(shè)定數(shù)據(jù)質(zhì)量管理目標(biāo)的依據(jù)之一。

　　06 數(shù)據(jù)質(zhì)量管理流程的關(guān)鍵點(diǎn)

　　數(shù)據(jù)質(zhì)量管理流程應(yīng)當(dāng)涵蓋從“數(shù)據(jù)產(chǎn)生”到“數(shù)據(jù)集成”再到“數(shù)據(jù)使用”在內(nèi)的全過程。為了在銀行全行范圍內(nèi)進(jìn)行有效的數(shù)據(jù)質(zhì)量管理，數(shù)據(jù)質(zhì)量管理的不同功能點(diǎn)應(yīng)恰當(dāng)分布在個(gè)流程的相應(yīng)環(huán)節(jié)，在基礎(chǔ)數(shù)據(jù)平臺(tái)類系統(tǒng)上構(gòu)建數(shù)據(jù)質(zhì)量管理系統(tǒng)，并將源系統(tǒng)、相關(guān)應(yīng)用以及相關(guān)科技和業(yè)務(wù)用戶都納入數(shù)據(jù)質(zhì)量問題的發(fā)現(xiàn)——修正——跟蹤——評(píng)估的閉環(huán)流程當(dāng)中，如此才是實(shí)施數(shù)據(jù)質(zhì)量管理的最佳選擇。

　　此外，數(shù)據(jù)質(zhì)量管理成敗的關(guān)鍵在于合理有效的組織架構(gòu)和流程，而不是管理系統(tǒng)自身，因此應(yīng)當(dāng)更為重視數(shù)據(jù)質(zhì)量管理配套的組織架構(gòu)和管理流程建設(shè)。

　　在構(gòu)建數(shù)據(jù)質(zhì)量管理體系時(shí)，以下關(guān)鍵因素應(yīng)當(dāng)考慮：跨部門以上主管領(lǐng)導(dǎo)的重視和牽頭;負(fù)責(zé)解決數(shù)據(jù)質(zhì)量問題的專門和專業(yè)組織;負(fù)責(zé)解決數(shù)據(jù)質(zhì)量問題的統(tǒng)一和專業(yè)流程;負(fù)責(zé)解決數(shù)據(jù)質(zhì)量問題的統(tǒng)一平臺(tái);負(fù)責(zé)偵測(cè)數(shù)據(jù)質(zhì)量問題的專業(yè)工具。

　　07 數(shù)據(jù)質(zhì)量管理與數(shù)據(jù)治理體系的有機(jī)結(jié)合

　　數(shù)據(jù)質(zhì)量管理應(yīng)當(dāng)與整個(gè)企業(yè)級(jí)的數(shù)據(jù)治理體系有機(jī)結(jié)合，圖7 簡(jiǎn)要說(shuō)明了這些治理體系各主要組件之間的關(guān)系。

　　圖 7 反映的數(shù)據(jù)質(zhì)量管理相關(guān)治理組件的關(guān)系如下：

　　圖 7 數(shù)據(jù)治理主要組件之間的關(guān)系圖

　　1.數(shù)據(jù)標(biāo)準(zhǔn)是數(shù)據(jù)質(zhì)量管理進(jìn)行質(zhì)量檢查的規(guī)則，因此數(shù)據(jù)與標(biāo)準(zhǔn)不相符，就是一個(gè)典型的數(shù)據(jù)質(zhì)量問題，通過部署數(shù)據(jù)質(zhì)量管理系統(tǒng)，可以對(duì)數(shù)據(jù)標(biāo)準(zhǔn)的落地實(shí)施提供有效的監(jiān)控、檢驗(yàn)和督促手段。

　　2.元數(shù)據(jù)管理系統(tǒng)可以作為數(shù)據(jù)質(zhì)量管理的一個(gè)輸入端，輔助數(shù)據(jù)質(zhì)量檢查 腳本的自動(dòng)生成，而數(shù)據(jù)質(zhì)量管理系統(tǒng)中存儲(chǔ)的檢查規(guī)則等信息又是一項(xiàng)元數(shù)據(jù)， 應(yīng)當(dāng)被元數(shù)據(jù)管理系統(tǒng)所采集。

　　3.數(shù)據(jù)安全管理中定義的數(shù)據(jù)所有者，是構(gòu)建數(shù)據(jù)質(zhì)量治理閉環(huán)流程和確定數(shù)據(jù)整改權(quán)責(zé)的重要依據(jù)。