人大金倉KINGBASE分布式數(shù)據(jù)庫助力“數(shù)據(jù)大腦”建設(shè)

　　隨著城市建設(shè)的快速發(fā)展，市政務(wù)服務(wù)中心已成為政府對外形象的最佳窗口。打造服務(wù)型政府，為市民提供精準(zhǔn)、高效的服務(wù)離不開大數(shù)據(jù)、人工智能等先進(jìn)技術(shù)的支撐。在某市政務(wù)服務(wù)數(shù)據(jù)管理局統(tǒng)籌“數(shù)據(jù)大腦”建設(shè)中，金倉分析型數(shù)據(jù)庫系統(tǒng)KingbaseAnalyticsDB(以下簡稱“KADB”)通過提供高價值密度的結(jié)構(gòu)化數(shù)據(jù)存儲及分析，為平臺日常運(yùn)行提供了關(guān)鍵決策依據(jù)。

　　項目整體架構(gòu)圖

　　注： “一湖四平臺”：數(shù)據(jù)湖、大數(shù)據(jù)基礎(chǔ)平臺、大數(shù)據(jù)匯聚平臺、大數(shù)據(jù)治理平臺、大數(shù)據(jù)服務(wù)平臺

　　該市“數(shù)據(jù)大腦”共匯集政務(wù)數(shù)據(jù)資源目錄6000+個，政務(wù)數(shù)據(jù)總量千億條，在“數(shù)據(jù)大腦”的支撐下，該市完成了一站式綜合服務(wù)平臺的打造，以及“一窗通辦”政務(wù)服務(wù)的實現(xiàn)。KADB作為“數(shù)據(jù)大腦”大數(shù)據(jù)基礎(chǔ)支撐平臺中的重要角色，通過20個節(jié)點(diǎn)集群部署，提供多節(jié)點(diǎn)并行計算，快速響應(yīng)各種查詢、統(tǒng)計分析、機(jī)器學(xué)習(xí)、行列混存、高壓縮比算法等手段，在當(dāng)前數(shù)據(jù)容量100+TB的情況下，為數(shù)據(jù)大腦提供了精準(zhǔn)的決策依據(jù)。

　　此外，相對于傳統(tǒng)關(guān)系型數(shù)據(jù)解決方案，金倉分析型數(shù)據(jù)庫系統(tǒng)KADB具備如下優(yōu)勢：

　　無共享MPP架構(gòu)，橫向擴(kuò)展能力：提供與遠(yuǎn)高于ORACLE等傳統(tǒng)數(shù)據(jù)庫的計算能力，數(shù)據(jù)分布在所有的并行節(jié)點(diǎn)上，每個節(jié)點(diǎn)只處理其中一部分?jǐn)?shù)據(jù)，所有的節(jié)點(diǎn)同時進(jìn)行并行處理，同時由于所有節(jié)點(diǎn)之間完全無共享，無I/O沖突，所以可以做到最優(yōu)化的I/O處理。隨著數(shù)據(jù)量及計算需求的不斷增加，可橫向擴(kuò)展節(jié)點(diǎn)滿足算力需求，查詢性能具備隨橫向擴(kuò)展準(zhǔn)線性提升能力

　　優(yōu)秀的空間數(shù)據(jù)(GIS)/遙感數(shù)據(jù)管理分析能力：集群對空間數(shù)據(jù)的管理及分析，為城市空間數(shù)據(jù)及行業(yè)業(yè)務(wù)數(shù)據(jù)的統(tǒng)一管理及分析提供支撐，如：市域管理中直觀分析熱點(diǎn)區(qū)域、區(qū)域內(nèi)統(tǒng)計分析、基于地理位置的服務(wù)等提供良好的支持

　　行列混合存儲提升海量數(shù)據(jù)的分析效率：可定義的行列混合存儲，將活躍的交互數(shù)據(jù)保存在行存分區(qū)表中，而非活躍的倉庫數(shù)據(jù)保存在列存分區(qū)表中，空間的使用和性能的優(yōu)化都能達(dá)到需求。支持多種壓縮方式，列存儲支持對不同列指定不同的壓縮方式和壓縮等級，支持zlib、quicklz、zstd、RLE等高效率壓縮算法，壓縮比可達(dá)1:20;支持用戶選擇最適合數(shù)據(jù)的存儲方式獲得最佳存儲效率。滿足業(yè)務(wù)系統(tǒng)海量數(shù)據(jù)下的秒級、毫秒級查詢響應(yīng)，相較于傳統(tǒng)行存，可實現(xiàn)數(shù)量級級別的性能提升

　　高可靠性、高可用：集群部署副本冗余機(jī)制，每個節(jié)點(diǎn)上的數(shù)據(jù)都會有一份冗余，在解析主節(jié)點(diǎn)日志后通過基于日志的數(shù)據(jù)同步方式，保證主控節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)主備之間的數(shù)據(jù)一致。如果相關(guān)主節(jié)點(diǎn)出現(xiàn)故障，備節(jié)自動接替主節(jié)點(diǎn)繼續(xù)提供服務(wù)，無需人工干預(yù)

　　內(nèi)置AI，支持機(jī)器學(xué)習(xí)：集群機(jī)器學(xué)習(xí)算法庫，將復(fù)雜的AI分析內(nèi)置在數(shù)據(jù)庫中，系統(tǒng)通過SQL可實現(xiàn)諸如聚類、線性回歸等分析能力，簡化了機(jī)器學(xué)習(xí)的難度，同時為數(shù)據(jù)大腦提供圖計算、機(jī)器學(xué)習(xí)、數(shù)據(jù)處理、統(tǒng)計分析、模型評估的常用算法;系統(tǒng)中調(diào)用了數(shù)據(jù)庫自帶的挖掘算法創(chuàng)建自定義函數(shù)用于實現(xiàn)庫內(nèi)并行分析，這些算法包括了t-統(tǒng)計量、p-值、樸素貝葉斯等。

　　除產(chǎn)品能力“硬核”之外，KADB團(tuán)隊始終秉承以客戶為中心的服務(wù)理念，對客戶需求的即時響應(yīng)，得到了客戶的充分認(rèn)可。在國產(chǎn)化浪潮下，KADB產(chǎn)品廣泛應(yīng)用于政務(wù)、能源、軍工、金融、公安、衛(wèi)生等關(guān)鍵領(lǐng)域，產(chǎn)品及服務(wù)能力得到了充分的證明。未來，人大金倉將持續(xù)打磨產(chǎn)品能力，優(yōu)化服務(wù)質(zhì)量，為更多客戶客戶決策提供精準(zhǔn)的依據(jù)。