人大金倉(cāng)KINGBASE分布式數(shù)據(jù)庫(kù)助力“數(shù)據(jù)大腦”建設(shè)

　　隨著城市建設(shè)的快速發(fā)展，市政務(wù)服務(wù)中心已成為政府對(duì)外形象的最佳窗口。打造服務(wù)型政府，為市民提供精準(zhǔn)、高效的服務(wù)離不開大數(shù)據(jù)、人工智能等先進(jìn)技術(shù)的支撐。在某市政務(wù)服務(wù)數(shù)據(jù)管理局統(tǒng)籌“數(shù)據(jù)大腦”建設(shè)中，金倉(cāng)分析型數(shù)據(jù)庫(kù)系統(tǒng)KingbaseAnalyticsDB(以下簡(jiǎn)稱“KADB”)通過提供高價(jià)值密度的結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)及分析，為平臺(tái)日常運(yùn)行提供了關(guān)鍵決策依據(jù)。

　　項(xiàng)目整體架構(gòu)圖

　　注： “一湖四平臺(tái)”：數(shù)據(jù)湖、大數(shù)據(jù)基礎(chǔ)平臺(tái)、大數(shù)據(jù)匯聚平臺(tái)、大數(shù)據(jù)治理平臺(tái)、大數(shù)據(jù)服務(wù)平臺(tái)

　　該市“數(shù)據(jù)大腦”共匯集政務(wù)數(shù)據(jù)資源目錄6000+個(gè)，政務(wù)數(shù)據(jù)總量千億條，在“數(shù)據(jù)大腦”的支撐下，該市完成了一站式綜合服務(wù)平臺(tái)的打造，以及“一窗通辦”政務(wù)服務(wù)的實(shí)現(xiàn)。KADB作為“數(shù)據(jù)大腦”大數(shù)據(jù)基礎(chǔ)支撐平臺(tái)中的重要角色，通過20個(gè)節(jié)點(diǎn)集群部署，提供多節(jié)點(diǎn)并行計(jì)算，快速響應(yīng)各種查詢、統(tǒng)計(jì)分析、機(jī)器學(xué)習(xí)、行列混存、高壓縮比算法等手段，在當(dāng)前數(shù)據(jù)容量100+TB的情況下，為數(shù)據(jù)大腦提供了精準(zhǔn)的決策依據(jù)。

　　此外，相對(duì)于傳統(tǒng)關(guān)系型數(shù)據(jù)解決方案，金倉(cāng)分析型數(shù)據(jù)庫(kù)系統(tǒng)KADB具備如下優(yōu)勢(shì)：

　　無共享MPP架構(gòu)，橫向擴(kuò)展能力：提供與遠(yuǎn)高于ORACLE等傳統(tǒng)數(shù)據(jù)庫(kù)的計(jì)算能力，數(shù)據(jù)分布在所有的并行節(jié)點(diǎn)上，每個(gè)節(jié)點(diǎn)只處理其中一部分?jǐn)?shù)據(jù)，所有的節(jié)點(diǎn)同時(shí)進(jìn)行并行處理，同時(shí)由于所有節(jié)點(diǎn)之間完全無共享，無I/O沖突，所以可以做到最優(yōu)化的I/O處理。隨著數(shù)據(jù)量及計(jì)算需求的不斷增加，可橫向擴(kuò)展節(jié)點(diǎn)滿足算力需求，查詢性能具備隨橫向擴(kuò)展準(zhǔn)線性提升能力

　　優(yōu)秀的空間數(shù)據(jù)(GIS)/遙感數(shù)據(jù)管理分析能力：集群對(duì)空間數(shù)據(jù)的管理及分析，為城市空間數(shù)據(jù)及行業(yè)業(yè)務(wù)數(shù)據(jù)的統(tǒng)一管理及分析提供支撐，如：市域管理中直觀分析熱點(diǎn)區(qū)域、區(qū)域內(nèi)統(tǒng)計(jì)分析、基于地理位置的服務(wù)等提供良好的支持

　　行列混合存儲(chǔ)提升海量數(shù)據(jù)的分析效率：可定義的行列混合存儲(chǔ)，將活躍的交互數(shù)據(jù)保存在行存分區(qū)表中，而非活躍的倉(cāng)庫(kù)數(shù)據(jù)保存在列存分區(qū)表中，空間的使用和性能的優(yōu)化都能達(dá)到需求。支持多種壓縮方式，列存儲(chǔ)支持對(duì)不同列指定不同的壓縮方式和壓縮等級(jí)，支持zlib、quicklz、zstd、RLE等高效率壓縮算法，壓縮比可達(dá)1:20;支持用戶選擇最適合數(shù)據(jù)的存儲(chǔ)方式獲得最佳存儲(chǔ)效率。滿足業(yè)務(wù)系統(tǒng)海量數(shù)據(jù)下的秒級(jí)、毫秒級(jí)查詢響應(yīng)，相較于傳統(tǒng)行存，可實(shí)現(xiàn)數(shù)量級(jí)級(jí)別的性能提升

　　高可靠性、高可用：集群部署副本冗余機(jī)制，每個(gè)節(jié)點(diǎn)上的數(shù)據(jù)都會(huì)有一份冗余，在解析主節(jié)點(diǎn)日志后通過基于日志的數(shù)據(jù)同步方式，保證主控節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)主備之間的數(shù)據(jù)一致。如果相關(guān)主節(jié)點(diǎn)出現(xiàn)故障，備節(jié)自動(dòng)接替主節(jié)點(diǎn)繼續(xù)提供服務(wù)，無需人工干預(yù)

　　內(nèi)置AI，支持機(jī)器學(xué)習(xí)：集群機(jī)器學(xué)習(xí)算法庫(kù)，將復(fù)雜的AI分析內(nèi)置在數(shù)據(jù)庫(kù)中，系統(tǒng)通過SQL可實(shí)現(xiàn)諸如聚類、線性回歸等分析能力，簡(jiǎn)化了機(jī)器學(xué)習(xí)的難度，同時(shí)為數(shù)據(jù)大腦提供圖計(jì)算、機(jī)器學(xué)習(xí)、數(shù)據(jù)處理、統(tǒng)計(jì)分析、模型評(píng)估的常用算法;系統(tǒng)中調(diào)用了數(shù)據(jù)庫(kù)自帶的挖掘算法創(chuàng)建自定義函數(shù)用于實(shí)現(xiàn)庫(kù)內(nèi)并行分析，這些算法包括了t-統(tǒng)計(jì)量、p-值、樸素貝葉斯等。

　　除產(chǎn)品能力“硬核”之外，KADB團(tuán)隊(duì)始終秉承以客戶為中心的服務(wù)理念，對(duì)客戶需求的即時(shí)響應(yīng)，得到了客戶的充分認(rèn)可。在國(guó)產(chǎn)化浪潮下，KADB產(chǎn)品廣泛應(yīng)用于政務(wù)、能源、軍工、金融、公安、衛(wèi)生等關(guān)鍵領(lǐng)域，產(chǎn)品及服務(wù)能力得到了充分的證明。未來，人大金倉(cāng)將持續(xù)打磨產(chǎn)品能力，優(yōu)化服務(wù)質(zhì)量，為更多客戶客戶決策提供精準(zhǔn)的依據(jù)。