數(shù)據(jù)庫運(yùn)維管理平臺面面觀

　　近期因工作需要對國內(nèi)數(shù)家主流的數(shù)據(jù)庫運(yùn)維管理平臺做了個(gè)調(diào)研，同時(shí)對這一產(chǎn)品的發(fā)展演進(jìn)趨勢做了簡單分析，供大家參考。

　　1、數(shù)據(jù)庫運(yùn)管平臺演進(jìn)與特點(diǎn)

　　近年來，數(shù)據(jù)庫運(yùn)維管理平臺市場非常活躍，涌現(xiàn)出一批有代表性的廠商產(chǎn)品，其背后也是數(shù)據(jù)庫管理需求變化所致。在深究下來，也是近些年數(shù)據(jù)庫技術(shù)演進(jìn)與管理方式的變化所致。如上圖艾瑞整理的演進(jìn)變化，從中我們可以觀察到較之以往的差異。下面我們聊聊有哪些鮮明的特點(diǎn)變化。

　　多樣性

　　隨著數(shù)據(jù)規(guī)模爆炸式增長及數(shù)據(jù)使用的多樣性，導(dǎo)致企業(yè)對數(shù)據(jù)庫的要求呈現(xiàn)多樣化特點(diǎn)。同時(shí)伴隨著近年來國內(nèi)數(shù)據(jù)庫廠商及產(chǎn)品大量涌現(xiàn)，整體數(shù)據(jù)庫市場呈現(xiàn)“百花齊放”的狀態(tài)。企業(yè)不得不面臨管理大量不同種類數(shù)據(jù)庫的需求，進(jìn)而導(dǎo)致企業(yè)對數(shù)據(jù)庫統(tǒng)一管理的需求突增。

　　跨平臺

　　隨著IT技術(shù)演進(jìn)，企業(yè)基礎(chǔ)設(shè)施平臺走過了早期物理機(jī)、虛擬機(jī)，到后來的容器化、云與云原生之路。考慮到企業(yè)間發(fā)展階段差異，往往存在需對接不同平臺、甚至單一企業(yè)內(nèi)部也存在多種平臺的情況。這也倒逼數(shù)據(jù)庫管理平臺方提供對多平臺的支持能力。

　　多架構(gòu)

　　隨著數(shù)據(jù)庫技術(shù)演進(jìn)，也同樣走過了從單機(jī)、集中式、到分布式、云原生的道路。且通常在一個(gè)企業(yè)內(nèi)存在多種數(shù)據(jù)庫、多種技術(shù)架構(gòu)產(chǎn)品并存。這同樣對數(shù)據(jù)庫管理類平臺提出了更高的要求。

　　獨(dú)立性

　　通常數(shù)據(jù)庫原廠都會提供自有產(chǎn)品的管理能力，但受到資源能限制，一般都會將主要力量投入到內(nèi)核研發(fā)中。同時(shí)受到技術(shù)壁壘、行業(yè)分工以及其他市場因素的限制，數(shù)據(jù)庫原廠無法提供自身產(chǎn)品以外的跨數(shù)據(jù)庫統(tǒng)一管理和配套服務(wù)，留出的市場需求空白必然要由獨(dú)立的數(shù)據(jù)庫生態(tài)廠商進(jìn)行補(bǔ)充。

　　全流程

　　從平臺管理能力上看，也不再僅僅局限于數(shù)據(jù)庫管理，而是覆蓋從基礎(chǔ)資源管理、數(shù)據(jù)庫自身管理、數(shù)據(jù)開發(fā)、數(shù)據(jù)安全等多方面，企業(yè)用戶也希望在單一平臺解決所有數(shù)據(jù)庫上下游相關(guān)工作。

　　開放性

　　很多企業(yè)，特別是中大型企業(yè)，都有自己一套IT管理方式，而不僅局限對產(chǎn)品使用。這主要是基于企業(yè)自身特點(diǎn)及統(tǒng)一化管理類訴求。此時(shí)就希望工具平臺提供一定的開放性，可以與企業(yè)內(nèi)已有平臺很好融合使用。

　　智能化

　　近年來人工智能技術(shù)快速發(fā)展，給數(shù)據(jù)庫管理提供一種新的思路。以此幫助企業(yè)降低數(shù)據(jù)庫管理成本，提高數(shù)據(jù)庫管理質(zhì)量和效率，加強(qiáng)數(shù)據(jù)庫的安全性和穩(wěn)定性。上述能力也希望內(nèi)置于數(shù)據(jù)庫管理平臺中，進(jìn)而實(shí)現(xiàn)管理智能化。

　　2、數(shù)據(jù)庫運(yùn)管平臺核心能力

　　如上面所談，數(shù)據(jù)庫運(yùn)管平臺需支持對多平臺、多架構(gòu)的數(shù)據(jù)庫產(chǎn)品在全生命周期內(nèi)的管理維護(hù)工作，其包含的平臺能力非常繁多。前段時(shí)間對國內(nèi)數(shù)據(jù)庫運(yùn)維管理平臺做了個(gè)小調(diào)研，下文就是結(jié)合國內(nèi)部分主流廠商產(chǎn)品能力，將平臺應(yīng)具備的產(chǎn)品能力加以說明。受限于個(gè)人能力及收集到的資料完整性，下述功能對比僅代表個(gè)人意見。廠商產(chǎn)品我以代號標(biāo)志，請勿對號入座哈:)

　　集成遷移

　　集成遷移能力，是企業(yè)使用數(shù)據(jù)庫的"高速公里"。這里包含異構(gòu)數(shù)據(jù)庫之間的、云下云上之間的數(shù)據(jù)庫遷移同步能力;此外還包括如離線數(shù)據(jù)的導(dǎo)入導(dǎo)出及數(shù)據(jù)抽取架構(gòu)等能力。從管理平臺角度看，這一能力并非剛需，部分廠商通過外置工具實(shí)現(xiàn)。從市場來看，很多專業(yè)的數(shù)據(jù)庫遷移同步廠商提供此類產(chǎn)品，用戶接受度也更高。

　　環(huán)境部署

　　環(huán)境部署，是指自動(dòng)安裝數(shù)據(jù)庫環(huán)境，其價(jià)值在于減少人力成本和錯(cuò)誤率。這一能力重點(diǎn)考察的是支持多種環(huán)境、支持安裝多種類數(shù)據(jù)庫、支持安裝多種架構(gòu)的數(shù)據(jù)庫集群。從廠商功能調(diào)研結(jié)果來看，基本功能都是具備的，主要差異就在于支持范圍的大小。

　　彈性伸縮

　　彈性伸縮功能分為兩種，一種是Scale UP、一種是Scale Out。前者是垂直擴(kuò)縮容資源即可，通過云、容器化能力相對容易實(shí)現(xiàn)，部分廠商產(chǎn)品也做的不錯(cuò)。后者則是依賴于數(shù)據(jù)庫自身能力，有些數(shù)據(jù)庫原生就是分布式架構(gòu)，提供對計(jì)算、存儲的擴(kuò)展;有些數(shù)據(jù)庫是單機(jī)架構(gòu)，則需要在前端提供分庫分片的能力才能實(shí)現(xiàn)擴(kuò)容。

　　實(shí)例管理

　　實(shí)例管理，是解放DBA雙手的能力，可將數(shù)據(jù)庫管理動(dòng)作標(biāo)準(zhǔn)化、在線化、甚至自動(dòng)化。這部分重點(diǎn)強(qiáng)調(diào)管理能力的范圍，盡量將手工操作都白屏化。從廠商提供能力來看，基本都可以滿足常規(guī)的運(yùn)維管理訴求。

　　性能服務(wù)

　　數(shù)據(jù)庫運(yùn)行狀態(tài)是否OK?當(dāng)前是否存在性能瓶頸?也是 DBA 日常管理重點(diǎn)關(guān)注的，這其中包括如熱點(diǎn)、負(fù)載、內(nèi)存、緩存、I/O分析等。上述能力，可以讓DBA快速找到系統(tǒng)可能存在的瓶頸，并及時(shí)采取有效的干預(yù)手段。這些內(nèi)容也是為后面的系統(tǒng)優(yōu)化做一鋪墊。

　　系統(tǒng)優(yōu)化

　　如何讓系統(tǒng)運(yùn)行在最佳狀態(tài)下，之前很多是通過人工經(jīng)驗(yàn)完成，現(xiàn)在人工智能算法提供一種新思路。從使用來看，無論是前者，將人工經(jīng)驗(yàn)內(nèi)置在系統(tǒng)中;還是后者，將算法模型來優(yōu)化系統(tǒng)，只要能達(dá)到好的運(yùn)行效果即可。這其中目前支持比較多的如實(shí)例參數(shù)、索引優(yōu)化等，其他方面還有很大的提供空間。

　　監(jiān)控巡檢

　　監(jiān)控巡檢，就是提供數(shù)據(jù)庫運(yùn)維日常的監(jiān)控、告警和巡檢能力，是屬于一種“主動(dòng)”的管理行為。其難點(diǎn)不在于收集到更多指標(biāo)等，而是在于從繁多的監(jiān)控指標(biāo)或巡檢數(shù)據(jù)中，找到系統(tǒng)運(yùn)行風(fēng)險(xiǎn)的蛛絲馬跡。這里可結(jié)合一些人工智能的能力，盡量做到不漏不丟的前提下，減輕被監(jiān)控端的壓力。

　　故障處理

　　故障處理，是指對故障進(jìn)行智能分析、診斷和自動(dòng)化處理。這對于快速解決系統(tǒng)問題，減少 RTO 很有意義。隨著數(shù)據(jù)庫系統(tǒng)越來越復(fù)雜，通過人工在紛繁復(fù)雜的故障問題中快速定位、快速解決愈發(fā)變的困難。這一能力對 DBA 尤為重要。這其中難點(diǎn)在于通過人工經(jīng)驗(yàn)抽象積累和故障案例的學(xué)習(xí)，提升系統(tǒng)處理故障的能力。

　　備份恢復(fù)

　　數(shù)據(jù)安全是DBA的生命線，通過平臺協(xié)助企業(yè)進(jìn)行全量、增量備份與恢復(fù)管理是非常有價(jià)值的。這一功能難點(diǎn)在于，一是大量數(shù)據(jù)庫實(shí)例備份恢復(fù)的管理，二是備份恢復(fù)中減少對線上環(huán)境的影響，三是可對備份集做檢測減少丟失風(fēng)險(xiǎn)，四是提供比較友好的交互方式。

　　高可用

　　數(shù)據(jù)庫可用性，是保障業(yè)務(wù)連續(xù)性的前提，也是企業(yè)最為關(guān)注的能力。管理平臺一方面可提供不同高可用架構(gòu)的搭建，另一方面當(dāng)出現(xiàn)故障時(shí)可快速實(shí)現(xiàn)高可用切換，減少RTO。這其中的難點(diǎn)在于，不同數(shù)據(jù)庫高可用能力差異巨大，有些只能通過外部工具方式輔助完成;且如何實(shí)現(xiàn)對前端業(yè)務(wù)的無感知也是重點(diǎn)。此外，針對同城、異地等多種條件下的可用性要求，對平臺提出了更高的要求。從調(diào)研來看，這方面還有較長的一段距離。

　　容量管理

　　容量管理，是指對數(shù)據(jù)庫的計(jì)算及存儲資源做的管理動(dòng)作，可盡早發(fā)現(xiàn)可能的容量問題，提前做好資源規(guī)劃。其中包括如計(jì)算容量、庫容量、表空間、數(shù)據(jù)對象等的管理。如企業(yè)業(yè)務(wù)發(fā)展很快，對容量管理這部分就很重要;再比如有類似雙11的大促活動(dòng)等，也需要此能力。但相對而言，這部分能力現(xiàn)有工具平臺相對功能較弱。

　　安全管控

　　安全管控，是指提供數(shù)據(jù)庫之上包括運(yùn)維管理、數(shù)據(jù)開發(fā)、數(shù)據(jù)流轉(zhuǎn)等全方位的管控能力。這其中涉及的方面很多，有些依賴于數(shù)據(jù)庫自身安全能力，有些則需平臺方提供。從調(diào)研來看，這方面能力參差不齊，差異較大;而且一般來說也有很多數(shù)據(jù)庫安全產(chǎn)品提供此類能力，用戶可基于其他平臺構(gòu)建。

　　運(yùn)營支持

　　運(yùn)營支持，是指將平臺管理的各類數(shù)據(jù)提供類似可視化大屏能力，可方便用戶快速了解整體使用情況。

　　多數(shù)據(jù)庫

　　如前面所說，當(dāng)前企業(yè)用戶使用的數(shù)據(jù)庫眾多，需要運(yùn)維管理平臺提供多種數(shù)據(jù)庫支持能力。特別是隨著近些年國產(chǎn)信創(chuàng)需求，很多用戶開始在生產(chǎn)環(huán)境使用國產(chǎn)數(shù)據(jù)庫。作為一種新引入的數(shù)據(jù)庫產(chǎn)品，是急需管理平臺來解決日常管理問題，降低使用門檻。但這方面往往困難較多，一方面確實(shí)待支持的產(chǎn)品很多、架構(gòu)差異很大，二方面國產(chǎn)數(shù)據(jù)庫的完整度還有待提升，特別是對于外部生態(tài)工具的支持還有不小的差距。

　　多平臺

　　如前面所說，當(dāng)前企業(yè)使用多種平臺管理數(shù)據(jù)庫，同樣需要運(yùn)維管理平臺支持上述能力。特別是隨著容器化、云化日益被客戶所接受，對上述平臺的管理支持能力尤為重要。這其中面臨的問題主要是管理方式的統(tǒng)一抽象，提供標(biāo)準(zhǔn)化的管理能力。

　　租戶隔離

　　隨著數(shù)據(jù)庫能力的提升，很多用戶處于成本經(jīng)濟(jì)性、管理便捷性等角度出發(fā)，考慮使用租戶能力。但不同數(shù)據(jù)庫提供的租戶能力差異很大，管理平臺相對比較受限于底層能力。這方面相對能做的不多。

　　數(shù)據(jù)開發(fā)

　　為提升數(shù)據(jù)開發(fā)的效率，很多平臺提供對數(shù)據(jù)開發(fā)的增強(qiáng)的支持，其中包括如數(shù)據(jù)庫審核、SQL質(zhì)量管理等。受眾群體包括DBA、DEV、TEST等多類人群。這部分作為相對邊緣的功能，各廠商差異很大，有些通過獨(dú)立產(chǎn)品提供相對完整的產(chǎn)品功能。

　　開放能力

　　除了平臺自身提供的能力外，如何與企業(yè)內(nèi)其他平臺協(xié)同也很重要，這就涉及到平臺是否提供開放能力，例如 API 的方式。特別是對一些傳統(tǒng)企業(yè)、中大型企業(yè)和互聯(lián)網(wǎng)公司，尤為重要。

　　3、數(shù)據(jù)庫運(yùn)管平臺發(fā)展趨勢

　　為滿足前文所談的多樣性、跨平臺、異構(gòu)化等趨勢，數(shù)據(jù)庫運(yùn)維管理平臺發(fā)展趨勢包括以下幾個(gè)方面：

　　云化趨勢：隨著云計(jì)算技術(shù)的迅速發(fā)展，云化趨勢將成為數(shù)據(jù)庫運(yùn)維管理平臺的主流發(fā)展趨勢。數(shù)據(jù)庫運(yùn)維管理平臺將逐漸向基于云的SaaS平臺發(fā)展，實(shí)現(xiàn)跨地域、跨云平臺的資源監(jiān)控和管理。

　　智能化趨勢：數(shù)據(jù)庫運(yùn)維管理平臺將更加注重應(yīng)用人工智能、機(jī)器學(xué)習(xí)等技術(shù)，實(shí)現(xiàn)數(shù)據(jù)庫管理自動(dòng)化和智能化。例如，數(shù)據(jù)庫自我診斷、自我優(yōu)化、自我備份和恢復(fù)等功能將逐漸成為發(fā)展的方向。

　　多模式趨勢：隨著數(shù)據(jù)儲存模式的多樣化，數(shù)據(jù)庫運(yùn)維管理平臺將逐漸實(shí)現(xiàn)多模式的數(shù)據(jù)存儲，管理和控制，并實(shí)現(xiàn)多模型數(shù)據(jù)的查詢和分析。

　　安全智防趨勢：隨著數(shù)據(jù)庫安全事件頻繁發(fā)生，數(shù)據(jù)庫運(yùn)維管理平臺將更加注重?cái)?shù)據(jù)庫安全的智能防護(hù)。例如對不合法的SQL操作，惡意登錄，數(shù)據(jù)泄漏等安全事件進(jìn)行實(shí)時(shí)監(jiān)控，及時(shí)發(fā)現(xiàn)并處理異常情況。

　　自動(dòng)化趨勢：數(shù)據(jù)庫運(yùn)維管理平臺將更加注重自動(dòng)化運(yùn)維的發(fā)展，推進(jìn)各項(xiàng)操作的自動(dòng)化實(shí)現(xiàn)，減少人工操作的參與，提高運(yùn)維效率和管理質(zhì)量。

　　綜上所述，數(shù)據(jù)庫運(yùn)維管理平臺將逐漸實(shí)現(xiàn)云化、智能化、多模式化、安全化和自動(dòng)化的發(fā)展趨勢。作為一個(gè)專門用于進(jìn)行數(shù)據(jù)庫管理和運(yùn)維的平臺，將實(shí)現(xiàn)更高效的數(shù)據(jù)庫管理，更保障企業(yè)數(shù)據(jù)的可靠性和安全性。

　　作者介紹

　　韓鋒，51CTO社區(qū)編輯，CCIA(中國計(jì)算機(jī)協(xié)會)常務(wù)理事，前Oracle ACE，騰訊TVP，阿里云MVP，dbaplus等多家社群創(chuàng)始人或?qū)＜覉F(tuán)成員。有著豐富的一線數(shù)據(jù)庫架構(gòu)、軟件研發(fā)、產(chǎn)品設(shè)計(jì)、團(tuán)隊(duì)管理經(jīng)驗(yàn)。曾擔(dān)任多家公司首席DBA、數(shù)據(jù)庫架構(gòu)師等職。在云、電商、金融、互聯(lián)網(wǎng)等行業(yè)均有涉獵，精通多種關(guān)系型數(shù)據(jù)庫，對NoSQL及大數(shù)據(jù)相關(guān)技術(shù)也有涉足，實(shí)踐經(jīng)驗(yàn)豐富。曾著有數(shù)據(jù)庫相關(guān)著作《SQL優(yōu)化最佳實(shí)踐》、《數(shù)據(jù)庫高效優(yōu)化》。