數(shù)據(jù)庫(kù)運(yùn)維管理平臺(tái)面面觀

　　近期因工作需要對(duì)國(guó)內(nèi)數(shù)家主流的數(shù)據(jù)庫(kù)運(yùn)維管理平臺(tái)做了個(gè)調(diào)研，同時(shí)對(duì)這一產(chǎn)品的發(fā)展演進(jìn)趨勢(shì)做了簡(jiǎn)單分析，供大家參考。

　　1、數(shù)據(jù)庫(kù)運(yùn)管平臺(tái)演進(jìn)與特點(diǎn)

　　近年來(lái)，數(shù)據(jù)庫(kù)運(yùn)維管理平臺(tái)市場(chǎng)非�；钴S，涌現(xiàn)出一批有代表性的廠商產(chǎn)品，其背后也是數(shù)據(jù)庫(kù)管理需求變化所致。在深究下來(lái)，也是近些年數(shù)據(jù)庫(kù)技術(shù)演進(jìn)與管理方式的變化所致。如上圖艾瑞整理的演進(jìn)變化，從中我們可以觀察到較之以往的差異。下面我們聊聊有哪些鮮明的特點(diǎn)變化。

　　多樣性

　　隨著數(shù)據(jù)規(guī)模爆炸式增長(zhǎng)及數(shù)據(jù)使用的多樣性，導(dǎo)致企業(yè)對(duì)數(shù)據(jù)庫(kù)的要求呈現(xiàn)多樣化特點(diǎn)。同時(shí)伴隨著近年來(lái)國(guó)內(nèi)數(shù)據(jù)庫(kù)廠商及產(chǎn)品大量涌現(xiàn)，整體數(shù)據(jù)庫(kù)市場(chǎng)呈現(xiàn)“百花齊放”的狀態(tài)。企業(yè)不得不面臨管理大量不同種類數(shù)據(jù)庫(kù)的需求，進(jìn)而導(dǎo)致企業(yè)對(duì)數(shù)據(jù)庫(kù)統(tǒng)一管理的需求突增。

　　跨平臺(tái)

　　隨著IT技術(shù)演進(jìn)，企業(yè)基礎(chǔ)設(shè)施平臺(tái)走過(guò)了早期物理機(jī)、虛擬機(jī)，到后來(lái)的容器化、云與云原生之路�？紤]到企業(yè)間發(fā)展階段差異，往往存在需對(duì)接不同平臺(tái)、甚至單一企業(yè)內(nèi)部也存在多種平臺(tái)的情況。這也倒逼數(shù)據(jù)庫(kù)管理平臺(tái)方提供對(duì)多平臺(tái)的支持能力。

　　多架構(gòu)

　　隨著數(shù)據(jù)庫(kù)技術(shù)演進(jìn)，也同樣走過(guò)了從單機(jī)、集中式、到分布式、云原生的道路。且通常在一個(gè)企業(yè)內(nèi)存在多種數(shù)據(jù)庫(kù)、多種技術(shù)架構(gòu)產(chǎn)品并存。這同樣對(duì)數(shù)據(jù)庫(kù)管理類平臺(tái)提出了更高的要求。

　　獨(dú)立性

　　通常數(shù)據(jù)庫(kù)原廠都會(huì)提供自有產(chǎn)品的管理能力，但受到資源能限制，一般都會(huì)將主要力量投入到內(nèi)核研發(fā)中。同時(shí)受到技術(shù)壁壘、行業(yè)分工以及其他市場(chǎng)因素的限制，數(shù)據(jù)庫(kù)原廠無(wú)法提供自身產(chǎn)品以外的跨數(shù)據(jù)庫(kù)統(tǒng)一管理和配套服務(wù)，留出的市場(chǎng)需求空白必然要由獨(dú)立的數(shù)據(jù)庫(kù)生態(tài)廠商進(jìn)行補(bǔ)充。

　　全流程

　　從平臺(tái)管理能力上看，也不再僅僅局限于數(shù)據(jù)庫(kù)管理，而是覆蓋從基礎(chǔ)資源管理、數(shù)據(jù)庫(kù)自身管理、數(shù)據(jù)開發(fā)、數(shù)據(jù)安全等多方面，企業(yè)用戶也希望在單一平臺(tái)解決所有數(shù)據(jù)庫(kù)上下游相關(guān)工作。

　　開放性

　　很多企業(yè)，特別是中大型企業(yè)，都有自己一套IT管理方式，而不僅局限對(duì)產(chǎn)品使用。這主要是基于企業(yè)自身特點(diǎn)及統(tǒng)一化管理類訴求。此時(shí)就希望工具平臺(tái)提供一定的開放性，可以與企業(yè)內(nèi)已有平臺(tái)很好融合使用。

　　智能化

　　近年來(lái)人工智能技術(shù)快速發(fā)展，給數(shù)據(jù)庫(kù)管理提供一種新的思路。以此幫助企業(yè)降低數(shù)據(jù)庫(kù)管理成本，提高數(shù)據(jù)庫(kù)管理質(zhì)量和效率，加強(qiáng)數(shù)據(jù)庫(kù)的安全性和穩(wěn)定性。上述能力也希望內(nèi)置于數(shù)據(jù)庫(kù)管理平臺(tái)中，進(jìn)而實(shí)現(xiàn)管理智能化。

　　2、數(shù)據(jù)庫(kù)運(yùn)管平臺(tái)核心能力

　　如上面所談，數(shù)據(jù)庫(kù)運(yùn)管平臺(tái)需支持對(duì)多平臺(tái)、多架構(gòu)的數(shù)據(jù)庫(kù)產(chǎn)品在全生命周期內(nèi)的管理維護(hù)工作，其包含的平臺(tái)能力非常繁多。前段時(shí)間對(duì)國(guó)內(nèi)數(shù)據(jù)庫(kù)運(yùn)維管理平臺(tái)做了個(gè)小調(diào)研，下文就是結(jié)合國(guó)內(nèi)部分主流廠商產(chǎn)品能力，將平臺(tái)應(yīng)具備的產(chǎn)品能力加以說(shuō)明。受限于個(gè)人能力及收集到的資料完整性，下述功能對(duì)比僅代表個(gè)人意見。廠商產(chǎn)品我以代號(hào)標(biāo)志，請(qǐng)勿對(duì)號(hào)入座哈:)

　　集成遷移

　　集成遷移能力，是企業(yè)使用數(shù)據(jù)庫(kù)的"高速公里"。這里包含異構(gòu)數(shù)據(jù)庫(kù)之間的、云下云上之間的數(shù)據(jù)庫(kù)遷移同步能力;此外還包括如離線數(shù)據(jù)的導(dǎo)入導(dǎo)出及數(shù)據(jù)抽取架構(gòu)等能力。從管理平臺(tái)角度看，這一能力并非剛需，部分廠商通過(guò)外置工具實(shí)現(xiàn)。從市場(chǎng)來(lái)看，很多專業(yè)的數(shù)據(jù)庫(kù)遷移同步廠商提供此類產(chǎn)品，用戶接受度也更高。

　　環(huán)境部署

　　環(huán)境部署，是指自動(dòng)安裝數(shù)據(jù)庫(kù)環(huán)境，其價(jià)值在于減少人力成本和錯(cuò)誤率。這一能力重點(diǎn)考察的是支持多種環(huán)境、支持安裝多種類數(shù)據(jù)庫(kù)、支持安裝多種架構(gòu)的數(shù)據(jù)庫(kù)集群。從廠商功能調(diào)研結(jié)果來(lái)看，基本功能都是具備的，主要差異就在于支持范圍的大小。

　　彈性伸縮

　　彈性伸縮功能分為兩種，一種是Scale UP、一種是Scale Out。前者是垂直擴(kuò)縮容資源即可，通過(guò)云、容器化能力相對(duì)容易實(shí)現(xiàn)，部分廠商產(chǎn)品也做的不錯(cuò)。后者則是依賴于數(shù)據(jù)庫(kù)自身能力，有些數(shù)據(jù)庫(kù)原生就是分布式架構(gòu)，提供對(duì)計(jì)算、存儲(chǔ)的擴(kuò)展;有些數(shù)據(jù)庫(kù)是單機(jī)架構(gòu)，則需要在前端提供分庫(kù)分片的能力才能實(shí)現(xiàn)擴(kuò)容。

　　實(shí)例管理

　　實(shí)例管理，是解放DBA雙手的能力，可將數(shù)據(jù)庫(kù)管理動(dòng)作標(biāo)準(zhǔn)化、在線化、甚至自動(dòng)化。這部分重點(diǎn)強(qiáng)調(diào)管理能力的范圍，盡量將手工操作都白屏化。從廠商提供能力來(lái)看，基本都可以滿足常規(guī)的運(yùn)維管理訴求。

　　性能服務(wù)

　　數(shù)據(jù)庫(kù)運(yùn)行狀態(tài)是否OK?當(dāng)前是否存在性能瓶頸?也是 DBA 日常管理重點(diǎn)關(guān)注的，這其中包括如熱點(diǎn)、負(fù)載、內(nèi)存、緩存、I/O分析等。上述能力，可以讓DBA快速找到系統(tǒng)可能存在的瓶頸，并及時(shí)采取有效的干預(yù)手段。這些內(nèi)容也是為后面的系統(tǒng)優(yōu)化做一鋪墊。

　　系統(tǒng)優(yōu)化

　　如何讓系統(tǒng)運(yùn)行在最佳狀態(tài)下，之前很多是通過(guò)人工經(jīng)驗(yàn)完成，現(xiàn)在人工智能算法提供一種新思路。從使用來(lái)看，無(wú)論是前者，將人工經(jīng)驗(yàn)內(nèi)置在系統(tǒng)中;還是后者，將算法模型來(lái)優(yōu)化系統(tǒng)，只要能達(dá)到好的運(yùn)行效果即可。這其中目前支持比較多的如實(shí)例參數(shù)、索引優(yōu)化等，其他方面還有很大的提供空間。

　　監(jiān)控巡檢

　　監(jiān)控巡檢，就是提供數(shù)據(jù)庫(kù)運(yùn)維日常的監(jiān)控、告警和巡檢能力，是屬于一種“主動(dòng)”的管理行為。其難點(diǎn)不在于收集到更多指標(biāo)等，而是在于從繁多的監(jiān)控指標(biāo)或巡檢數(shù)據(jù)中，找到系統(tǒng)運(yùn)行風(fēng)險(xiǎn)的蛛絲馬跡。這里可結(jié)合一些人工智能的能力，盡量做到不漏不丟的前提下，減輕被監(jiān)控端的壓力。

　　故障處理

　　故障處理，是指對(duì)故障進(jìn)行智能分析、診斷和自動(dòng)化處理。這對(duì)于快速解決系統(tǒng)問(wèn)題，減少 RTO 很有意義。隨著數(shù)據(jù)庫(kù)系統(tǒng)越來(lái)越復(fù)雜，通過(guò)人工在紛繁復(fù)雜的故障問(wèn)題中快速定位、快速解決愈發(fā)變的困難。這一能力對(duì) DBA 尤為重要。這其中難點(diǎn)在于通過(guò)人工經(jīng)驗(yàn)抽象積累和故障案例的學(xué)習(xí)，提升系統(tǒng)處理故障的能力。

　　備份恢復(fù)

　　數(shù)據(jù)安全是DBA的生命線，通過(guò)平臺(tái)協(xié)助企業(yè)進(jìn)行全量、增量備份與恢復(fù)管理是非常有價(jià)值的。這一功能難點(diǎn)在于，一是大量數(shù)據(jù)庫(kù)實(shí)例備份恢復(fù)的管理，二是備份恢復(fù)中減少對(duì)線上環(huán)境的影響，三是可對(duì)備份集做檢測(cè)減少丟失風(fēng)險(xiǎn)，四是提供比較友好的交互方式。

　　高可用

　　數(shù)據(jù)庫(kù)可用性，是保障業(yè)務(wù)連續(xù)性的前提，也是企業(yè)最為關(guān)注的能力。管理平臺(tái)一方面可提供不同高可用架構(gòu)的搭建，另一方面當(dāng)出現(xiàn)故障時(shí)可快速實(shí)現(xiàn)高可用切換，減少RTO。這其中的難點(diǎn)在于，不同數(shù)據(jù)庫(kù)高可用能力差異巨大，有些只能通過(guò)外部工具方式輔助完成;且如何實(shí)現(xiàn)對(duì)前端業(yè)務(wù)的無(wú)感知也是重點(diǎn)。此外，針對(duì)同城、異地等多種條件下的可用性要求，對(duì)平臺(tái)提出了更高的要求。從調(diào)研來(lái)看，這方面還有較長(zhǎng)的一段距離。

　　容量管理

　　容量管理，是指對(duì)數(shù)據(jù)庫(kù)的計(jì)算及存儲(chǔ)資源做的管理動(dòng)作，可盡早發(fā)現(xiàn)可能的容量問(wèn)題，提前做好資源規(guī)劃。其中包括如計(jì)算容量、庫(kù)容量、表空間、數(shù)據(jù)對(duì)象等的管理。如企業(yè)業(yè)務(wù)發(fā)展很快，對(duì)容量管理這部分就很重要;再比如有類似雙11的大促活動(dòng)等，也需要此能力。但相對(duì)而言，這部分能力現(xiàn)有工具平臺(tái)相對(duì)功能較弱。

　　安全管控

　　安全管控，是指提供數(shù)據(jù)庫(kù)之上包括運(yùn)維管理、數(shù)據(jù)開發(fā)、數(shù)據(jù)流轉(zhuǎn)等全方位的管控能力。這其中涉及的方面很多，有些依賴于數(shù)據(jù)庫(kù)自身安全能力，有些則需平臺(tái)方提供。從調(diào)研來(lái)看，這方面能力參差不齊，差異較大;而且一般來(lái)說(shuō)也有很多數(shù)據(jù)庫(kù)安全產(chǎn)品提供此類能力，用戶可基于其他平臺(tái)構(gòu)建。

　　運(yùn)營(yíng)支持

　　運(yùn)營(yíng)支持，是指將平臺(tái)管理的各類數(shù)據(jù)提供類似可視化大屏能力，可方便用戶快速了解整體使用情況。

　　多數(shù)據(jù)庫(kù)

　　如前面所說(shuō)，當(dāng)前企業(yè)用戶使用的數(shù)據(jù)庫(kù)眾多，需要運(yùn)維管理平臺(tái)提供多種數(shù)據(jù)庫(kù)支持能力。特別是隨著近些年國(guó)產(chǎn)信創(chuàng)需求，很多用戶開始在生產(chǎn)環(huán)境使用國(guó)產(chǎn)數(shù)據(jù)庫(kù)。作為一種新引入的數(shù)據(jù)庫(kù)產(chǎn)品，是急需管理平臺(tái)來(lái)解決日常管理問(wèn)題，降低使用門檻。但這方面往往困難較多，一方面確實(shí)待支持的產(chǎn)品很多、架構(gòu)差異很大，二方面國(guó)產(chǎn)數(shù)據(jù)庫(kù)的完整度還有待提升，特別是對(duì)于外部生態(tài)工具的支持還有不小的差距。

　　多平臺(tái)

　　如前面所說(shuō)，當(dāng)前企業(yè)使用多種平臺(tái)管理數(shù)據(jù)庫(kù)，同樣需要運(yùn)維管理平臺(tái)支持上述能力。特別是隨著容器化、云化日益被客戶所接受，對(duì)上述平臺(tái)的管理支持能力尤為重要。這其中面臨的問(wèn)題主要是管理方式的統(tǒng)一抽象，提供標(biāo)準(zhǔn)化的管理能力。

　　租戶隔離

　　隨著數(shù)據(jù)庫(kù)能力的提升，很多用戶處于成本經(jīng)濟(jì)性、管理便捷性等角度出發(fā)，考慮使用租戶能力。但不同數(shù)據(jù)庫(kù)提供的租戶能力差異很大，管理平臺(tái)相對(duì)比較受限于底層能力。這方面相對(duì)能做的不多。

　　數(shù)據(jù)開發(fā)

　　為提升數(shù)據(jù)開發(fā)的效率，很多平臺(tái)提供對(duì)數(shù)據(jù)開發(fā)的增強(qiáng)的支持，其中包括如數(shù)據(jù)庫(kù)審核、SQL質(zhì)量管理等。受眾群體包括DBA、DEV、TEST等多類人群。這部分作為相對(duì)邊緣的功能，各廠商差異很大，有些通過(guò)獨(dú)立產(chǎn)品提供相對(duì)完整的產(chǎn)品功能。

　　開放能力

　　除了平臺(tái)自身提供的能力外，如何與企業(yè)內(nèi)其他平臺(tái)協(xié)同也很重要，這就涉及到平臺(tái)是否提供開放能力，例如 API 的方式。特別是對(duì)一些傳統(tǒng)企業(yè)、中大型企業(yè)和互聯(lián)網(wǎng)公司，尤為重要。

　　3、數(shù)據(jù)庫(kù)運(yùn)管平臺(tái)發(fā)展趨勢(shì)

　　為滿足前文所談的多樣性、跨平臺(tái)、異構(gòu)化等趨勢(shì)，數(shù)據(jù)庫(kù)運(yùn)維管理平臺(tái)發(fā)展趨勢(shì)包括以下幾個(gè)方面：

　　云化趨勢(shì)：隨著云計(jì)算技術(shù)的迅速發(fā)展，云化趨勢(shì)將成為數(shù)據(jù)庫(kù)運(yùn)維管理平臺(tái)的主流發(fā)展趨勢(shì)。數(shù)據(jù)庫(kù)運(yùn)維管理平臺(tái)將逐漸向基于云的SaaS平臺(tái)發(fā)展，實(shí)現(xiàn)跨地域、跨云平臺(tái)的資源監(jiān)控和管理。

　　智能化趨勢(shì)：數(shù)據(jù)庫(kù)運(yùn)維管理平臺(tái)將更加注重應(yīng)用人工智能、機(jī)器學(xué)習(xí)等技術(shù)，實(shí)現(xiàn)數(shù)據(jù)庫(kù)管理自動(dòng)化和智能化。例如，數(shù)據(jù)庫(kù)自我診斷、自我優(yōu)化、自我備份和恢復(fù)等功能將逐漸成為發(fā)展的方向。

　　多模式趨勢(shì)：隨著數(shù)據(jù)儲(chǔ)存模式的多樣化，數(shù)據(jù)庫(kù)運(yùn)維管理平臺(tái)將逐漸實(shí)現(xiàn)多模式的數(shù)據(jù)存儲(chǔ)，管理和控制，并實(shí)現(xiàn)多模型數(shù)據(jù)的查詢和分析。

　　安全智防趨勢(shì)：隨著數(shù)據(jù)庫(kù)安全事件頻繁發(fā)生，數(shù)據(jù)庫(kù)運(yùn)維管理平臺(tái)將更加注重?cái)?shù)據(jù)庫(kù)安全的智能防護(hù)。例如對(duì)不合法的SQL操作，惡意登錄，數(shù)據(jù)泄漏等安全事件進(jìn)行實(shí)時(shí)監(jiān)控，及時(shí)發(fā)現(xiàn)并處理異常情況。

　　自動(dòng)化趨勢(shì)：數(shù)據(jù)庫(kù)運(yùn)維管理平臺(tái)將更加注重自動(dòng)化運(yùn)維的發(fā)展，推進(jìn)各項(xiàng)操作的自動(dòng)化實(shí)現(xiàn)，減少人工操作的參與，提高運(yùn)維效率和管理質(zhì)量。

　　綜上所述，數(shù)據(jù)庫(kù)運(yùn)維管理平臺(tái)將逐漸實(shí)現(xiàn)云化、智能化、多模式化、安全化和自動(dòng)化的發(fā)展趨勢(shì)。作為一個(gè)專門用于進(jìn)行數(shù)據(jù)庫(kù)管理和運(yùn)維的平臺(tái)，將實(shí)現(xiàn)更高效的數(shù)據(jù)庫(kù)管理，更保障企業(yè)數(shù)據(jù)的可靠性和安全性。

　　作者介紹

　　韓鋒，51CTO社區(qū)編輯，CCIA(中國(guó)計(jì)算機(jī)協(xié)會(huì))常務(wù)理事，前Oracle ACE，騰訊TVP，阿里云MVP，dbaplus等多家社群創(chuàng)始人或?qū)＜覉F(tuán)成員。有著豐富的一線數(shù)據(jù)庫(kù)架構(gòu)、軟件研發(fā)、產(chǎn)品設(shè)計(jì)、團(tuán)隊(duì)管理經(jīng)驗(yàn)。曾擔(dān)任多家公司首席DBA、數(shù)據(jù)庫(kù)架構(gòu)師等職。在云、電商、金融、互聯(lián)網(wǎng)等行業(yè)均有涉獵，精通多種關(guān)系型數(shù)據(jù)庫(kù)，對(duì)NoSQL及大數(shù)據(jù)相關(guān)技術(shù)也有涉足，實(shí)踐經(jīng)驗(yàn)豐富。曾著有數(shù)據(jù)庫(kù)相關(guān)著作《SQL優(yōu)化最佳實(shí)踐》、《數(shù)據(jù)庫(kù)高效優(yōu)化》。