為落實(shí)推進(jìn)“數(shù)字政府”改革建設(shè)工作,廣東省東莞市政務(wù)服務(wù)數(shù)據(jù)管理局于2020年5月下發(fā)《關(guān)于配合開(kāi)展政務(wù)數(shù)據(jù)匯聚及治理的函》,并指出,東莞市下屬各部門(mén)應(yīng)配合市政務(wù)數(shù)據(jù)大腦數(shù)據(jù)服務(wù)團(tuán)隊(duì)開(kāi)展數(shù)據(jù)摸查,數(shù)據(jù)匯聚和治理等相關(guān)工作。組織建立實(shí)時(shí)業(yè)務(wù)備庫(kù),同時(shí)供市政務(wù)數(shù)據(jù)大腦采集數(shù)據(jù),夯實(shí)數(shù)據(jù)匯聚和共享應(yīng)用基礎(chǔ)是東莞市政務(wù)云國(guó)產(chǎn)化擴(kuò)容項(xiàng)目建設(shè)目標(biāo)之一。
在本案例涉及項(xiàng)目建設(shè)中,人大金倉(cāng)通過(guò)在數(shù)據(jù)大腦健康云中提供在線(xiàn)業(yè)務(wù)備庫(kù)及實(shí)時(shí)備份方案的落地支撐,在總體日增量700+GB的負(fù)載壓力下,完成了客戶(hù)5個(gè)獨(dú)立單位多種異構(gòu)數(shù)據(jù)源的數(shù)據(jù)實(shí)時(shí)同步工作。
項(xiàng)目背景
客戶(hù)需要將包括衛(wèi)生健康局的人力資源系統(tǒng)、醫(yī)療機(jī)構(gòu)藥事管理系統(tǒng),醫(yī)療救護(hù)120指揮中心的120調(diào)度指揮系統(tǒng),疾病預(yù)防控制中心的疫苗冷鏈監(jiān)測(cè)報(bào)警系統(tǒng),市屬公立醫(yī)院管理中心的市屬公立醫(yī)院資產(chǎn)處置系統(tǒng)、市屬公立醫(yī)院經(jīng)濟(jì)監(jiān)管平臺(tái)系統(tǒng)、市屬公立醫(yī)院綜合運(yùn)營(yíng)管理系統(tǒng)及市中心血站的現(xiàn)代血站管理系統(tǒng)等在內(nèi)的各單位業(yè)務(wù)系統(tǒng)數(shù)據(jù)匯聚到數(shù)據(jù)大腦健康云。
項(xiàng)目涉及的東莞市衛(wèi)健委5個(gè)單位10個(gè)業(yè)務(wù)系統(tǒng),其中部分系統(tǒng)業(yè)務(wù)負(fù)荷壓力較大,并發(fā)高,數(shù)據(jù)量大,對(duì)數(shù)據(jù)同步的連續(xù)性、穩(wěn)定性及時(shí)效性要求較高。
客戶(hù)痛點(diǎn)
網(wǎng)絡(luò)不通,系統(tǒng)分散:衛(wèi)健委5個(gè)單位信息化建設(shè)各自獨(dú)立,網(wǎng)絡(luò)隔離,系統(tǒng)分散,無(wú)法為衛(wèi)健中心的整體數(shù)據(jù)分析提供數(shù)據(jù)基礎(chǔ)。
異構(gòu)數(shù)據(jù)源眾多:本項(xiàng)目計(jì)劃對(duì)接同步10大業(yè)務(wù)系統(tǒng),將各系統(tǒng)數(shù)據(jù)在運(yùn)行在健康云中的KES數(shù)據(jù)庫(kù)進(jìn)行實(shí)時(shí)同步,各系統(tǒng)底層采用包括Oracle、SQLServer、MySQL等各類(lèi)異構(gòu)數(shù)據(jù)庫(kù)。同步軟件及方案也需具備完善的異構(gòu)數(shù)據(jù)解析轉(zhuǎn)換能力,目標(biāo)端KES數(shù)據(jù)庫(kù)也需要提供各異構(gòu)數(shù)據(jù)庫(kù)的數(shù)據(jù)兼容性支撐。
數(shù)據(jù)規(guī)模、性能及穩(wěn)定性考驗(yàn):需同步的各業(yè)務(wù)系統(tǒng)已積累了大量數(shù)據(jù),總體存量數(shù)據(jù)超5TB,增量數(shù)據(jù)每天700+GB規(guī)模;在保證7*24小時(shí)穩(wěn)定運(yùn)行的同時(shí),同步數(shù)據(jù)延遲要求不超1秒。
金倉(cāng)方案
人大金倉(cāng)采用異構(gòu)數(shù)據(jù)同步軟件KFS,針對(duì)上述需求痛點(diǎn),提供兼容多源異構(gòu)數(shù)據(jù)庫(kù)平臺(tái)、面向海量數(shù)據(jù)(603138,股吧)可7*24小時(shí)穩(wěn)定高效支撐的解決方案。
已上線(xiàn)系統(tǒng)拓?fù)涫疽鈭D
異構(gòu)數(shù)據(jù)平臺(tái)兼容及準(zhǔn)確性保障
KFS可以實(shí)現(xiàn)不同結(jié)構(gòu)的數(shù)據(jù)平臺(tái)的連接,實(shí)現(xiàn)數(shù)據(jù)的互通。項(xiàng)目涉及Oracle、SQLServer及MySQL等異構(gòu)數(shù)據(jù)庫(kù)的數(shù)據(jù)同步。KFS采用基于日志解析的邏輯同步技術(shù),在同步作業(yè)中提供異構(gòu)數(shù)據(jù)庫(kù)與KES之間從數(shù)據(jù)類(lèi)型到SQL語(yǔ)句的兼容性配置,保障異構(gòu)庫(kù)間數(shù)據(jù)同步的正確性。
性能及穩(wěn)定性保障
為最大程度保證源端業(yè)務(wù)的性能及穩(wěn)定性,KFS所有源端同步節(jié)點(diǎn)均采用分離部署架構(gòu)。針對(duì)小機(jī)+Windows+Oracle RAC的源端數(shù)據(jù)庫(kù)系統(tǒng)架構(gòu)組合,KFS提供基于離線(xiàn)Redo日志解析技術(shù)的性能優(yōu)化方案,最大程度滿(mǎn)足客戶(hù)性能需求。
對(duì)于多系統(tǒng)多庫(kù)表同步場(chǎng)景需求,采用KFS的多路并行執(zhí)行方式以提高初始遷移及實(shí)時(shí)同步的吞吐量,保證高并發(fā)業(yè)務(wù)情況下數(shù)據(jù)同步延遲保持在亞秒級(jí)水平。
實(shí)施成果
本期項(xiàng)目完成了東莞市5個(gè)單位10個(gè)系統(tǒng)(已正式上線(xiàn)9個(gè))的健康云上實(shí)時(shí)業(yè)務(wù)備庫(kù)數(shù)據(jù)同步建設(shè),KFS累計(jì)部署達(dá)20節(jié)點(diǎn);
完成了Oracle(單機(jī)及RAC)、SQLServer及MySQL等多種異構(gòu)數(shù)據(jù)源的對(duì)接;
累計(jì)完成10000+表對(duì)象及近5TB數(shù)據(jù)遷移;
在單系統(tǒng)最大日均同步增量數(shù)據(jù)200+ GB,總體日均增量700+ GB情況下,通過(guò)架構(gòu)、系統(tǒng)及產(chǎn)品的多層優(yōu)化,保證源端高負(fù)載情況下,數(shù)據(jù)同步延遲在1秒以?xún)?nèi)。
結(jié)語(yǔ)
面對(duì)高負(fù)載、海量數(shù)據(jù)、多源異構(gòu)的多業(yè)務(wù)系統(tǒng)實(shí)時(shí)同步場(chǎng)景,人大金倉(cāng)憑借KFS靈活的架構(gòu)方式、多類(lèi)型異構(gòu)數(shù)據(jù)庫(kù)日志解析技術(shù)支持及深度的性能優(yōu)化手段,以及目標(biāo)端KES數(shù)據(jù)庫(kù)優(yōu)秀的各異構(gòu)數(shù)據(jù)庫(kù)兼容能力,成功為東莞衛(wèi)健委多系統(tǒng)提供了數(shù)據(jù)高可靠性保障,同時(shí)為衛(wèi)健中心的整體數(shù)據(jù)分析提供了互聯(lián)互通的數(shù)據(jù)基礎(chǔ),也為本項(xiàng)目后續(xù)系統(tǒng)同步建設(shè)及其他類(lèi)似項(xiàng)目建設(shè)需求提供了標(biāo)準(zhǔn)的落地方案和良好的示范。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
2024年的Adobe MAX 2024發(fā)布會(huì)上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線(xiàn)上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來(lái)都要半個(gè)月了,現(xiàn)在方便多了!”打開(kāi)“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶(hù)就打進(jìn)了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來(lái)實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性?xún)r(jià)比很高,簡(jiǎn)直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會(huì)——工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析專(zhuān)題論壇在沈陽(yáng)成功舉辦。