后疫情時(shí)代,人大金倉助力構(gòu)筑數(shù)據(jù)災(zāi)備防線,保障6500萬人員民生安全

　　為助力疫情科學(xué)防控、保障復(fù)工復(fù)產(chǎn)安全有序，落實(shí)工作決策部署，各省均在結(jié)合疫情防控實(shí)際需要，積極利用新一代信息技術(shù)，建設(shè)相關(guān)平臺，用于登記、核驗(yàn)個人基本信息和健康信息，支撐政府部門、用人單位、社區(qū)等綜合判斷個人健康風(fēng)險(xiǎn)等級，實(shí)現(xiàn)特殊時(shí)期動態(tài)健康認(rèn)證，徹底改變了傳統(tǒng)低效的“人肉”登記方式。

　　由于此類信息平臺承載數(shù)據(jù)直接影響省內(nèi)抗疫、防疫工作的正常開展，因此保證該平臺數(shù)據(jù)安全性和服務(wù)的連續(xù)性至關(guān)重要。在某省“健康碼”平臺建設(shè)項(xiàng)目中，人大金倉通過異構(gòu)數(shù)據(jù)同步軟件Kingbase FlySync的實(shí)施，實(shí)現(xiàn)了對該平臺上全省6500萬人員相關(guān)業(yè)務(wù)數(shù)據(jù)的實(shí)時(shí)災(zāi)備，從而確保了平臺數(shù)據(jù)的安全和服務(wù)的連續(xù)，為保障該省乃至全國人民的生命安全貢獻(xiàn)了一份綿薄之力。

　　項(xiàng)目背景

　　客戶推出的某省“健康碼綜合服務(wù)平臺系統(tǒng)”(簡稱：某省“健康碼”)，覆蓋了全省16地市約6500萬的人員，是當(dāng)?shù)鼐幼⌒�區(qū)、工作園區(qū)樓宇以及各級行政服務(wù)中心、醫(yī)療機(jī)構(gòu)等公共管理和服務(wù)場所的通行憑證。

　　該平臺采用省、市分級建設(shè)模式。省級平臺建設(shè)1個數(shù)據(jù)中心、4個應(yīng)用平臺、1個服務(wù)界面，一批場景應(yīng)用。該項(xiàng)目于2020年12月底正式建成上線，隨著平臺監(jiān)測逐漸成為防疫工作的主要手段以及新業(yè)務(wù)的不斷整合，平臺業(yè)務(wù)壓力不斷加大，系統(tǒng)整體的可用性提升日益迫切，平臺省級數(shù)據(jù)中心災(zāi)備方案落地的需求不斷提升。2021年3月，金倉異構(gòu)數(shù)據(jù)同步軟件Kingbase FlySync作為災(zāi)備方案的主要支撐產(chǎn)品上線使用，開啟了基于KFS的Oracle雙機(jī)異地災(zāi)備方案實(shí)踐之路。

　　客戶痛點(diǎn)

　　客戶需要建設(shè)全量、實(shí)時(shí)的數(shù)據(jù)災(zāi)備庫，以確保主服務(wù)環(huán)境故障時(shí)能迅速切換到災(zāi)備庫，保障服務(wù)連續(xù)性，因此需要有專業(yè)產(chǎn)品能夠完成主庫到災(zāi)備庫的實(shí)時(shí)同步，實(shí)現(xiàn)災(zāi)備庫隨時(shí)都是主庫的一個全量數(shù)據(jù)副本，隨時(shí)可以接管業(yè)務(wù)訪問。其中幾個需要解決的痛點(diǎn)如下：

　　多種業(yè)務(wù)混合平臺上的單一業(yè)務(wù)同步

　　“健康碼”服務(wù)平臺的業(yè)務(wù)數(shù)據(jù)庫承載了多個業(yè)務(wù)，涉及多種業(yè)務(wù)混合操作，但災(zāi)備庫需要只接收“健康碼”的數(shù)據(jù)。

　　異構(gòu)平臺間的數(shù)據(jù)同步

　　服務(wù)平臺基于省內(nèi)已有信息化基礎(chǔ)，采用了Oracle數(shù)據(jù)庫作為業(yè)務(wù)承載庫，且主庫為Oracle Dataguard集群，目標(biāo)備庫則為Oracle單機(jī)，需要對兩個異構(gòu)系統(tǒng)進(jìn)行數(shù)據(jù)的實(shí)時(shí)同步。

　　表數(shù)據(jù)結(jié)構(gòu)變化具有隨機(jī)性

　　由于“健康碼”項(xiàng)目在疫情突發(fā)背景下緊急開發(fā)上線，隨著疫情防控狀態(tài)的變化，應(yīng)用服務(wù)還需進(jìn)行新的開發(fā)以適應(yīng)新場景需求，應(yīng)用對外提供服務(wù)變化和自身代碼開發(fā)優(yōu)化操作并存，隨之而來的頻繁的數(shù)據(jù)表結(jié)構(gòu)變化，為數(shù)據(jù)在不同庫之間的同步帶來挑戰(zhàn)。

　　大業(yè)務(wù)量壓力下的數(shù)據(jù)同步低時(shí)延保證

　　“健康碼”承載了全省6500萬人的疫情監(jiān)測，平臺日數(shù)據(jù)增量大，增量數(shù)據(jù)也需以秒級時(shí)延同步給災(zāi)備庫。

　　平臺高可用性要求同步工具具備高穩(wěn)定性

　　“健康碼”平臺的穩(wěn)定性和可用性直接關(guān)系到國計(jì)民生，數(shù)據(jù)同步工具作為主庫和備庫數(shù)據(jù)同步實(shí)現(xiàn)的唯一通道，其自身的穩(wěn)定性直接關(guān)系到平臺數(shù)據(jù)備份的可靠性。若連接通道頻繁故障，無法保證災(zāi)備庫實(shí)時(shí)保持與主庫的一致，最終會造成災(zāi)備方案無效的后果。

　　業(yè)務(wù)的高連續(xù)性對于數(shù)據(jù)同步的平滑性要求

　　前期上層業(yè)務(wù)已運(yùn)行多日，歷史數(shù)據(jù)量龐大，同時(shí)面臨臨時(shí)災(zāi)備方案向正式災(zāi)備方案過渡，需確保在上層業(yè)務(wù)不停止對外服務(wù)的前提下，提供平滑上線方案，能完成上線時(shí)間節(jié)點(diǎn)前后歷史數(shù)據(jù)和新的增量數(shù)據(jù)的平滑銜接，確保數(shù)據(jù)完整準(zhǔn)確。

　　金倉方案

　　人大金倉采用金倉異構(gòu)數(shù)據(jù)同步軟件Kingbase FlySync，針對客戶痛點(diǎn)，在兼容異構(gòu)數(shù)據(jù)平臺、實(shí)時(shí)增量數(shù)據(jù)同步、多類型語句同步、業(yè)務(wù)多粒度過濾、跨運(yùn)營商網(wǎng)絡(luò)、平滑上線等方面為用戶提供了好用、放心的解決方案。

　　兼容異構(gòu)數(shù)據(jù)平臺

　　Kingbase FlySync可以實(shí)現(xiàn)不同結(jié)構(gòu)的數(shù)據(jù)平臺的連接，實(shí)現(xiàn)數(shù)據(jù)的互通。本項(xiàng)目中Kingbase FlySync連通了Oracle DataGuard集群與Oracle單機(jī)的數(shù)據(jù)交互，實(shí)現(xiàn)異構(gòu)平臺的數(shù)據(jù)同步。

　　實(shí)時(shí)增量數(shù)據(jù)同步

　　本項(xiàng)目采用了Oracle物理日志解析，該技術(shù)可實(shí)現(xiàn)高速日志解析能力，最高可達(dá)100M/s的解析速度，因此項(xiàng)目中的大規(guī)模業(yè)務(wù)壓力，依然保證了實(shí)時(shí)解析。此外，Kingbase FlySync采用流水線式的傳輸作業(yè)機(jī)制，以及并行加載能力，全方位保證了數(shù)據(jù)同步的時(shí)效性。

　　多類語句同步

　　如前文描述，應(yīng)用對外提供服務(wù)和自身代碼開發(fā)優(yōu)化操作并存，因此Kingbase FlySync同時(shí)提供了DML和DDL語句的同步能力，即可將業(yè)務(wù)運(yùn)行產(chǎn)生的業(yè)務(wù)數(shù)據(jù)實(shí)時(shí)同步給災(zāi)備庫，也可將因人為開發(fā)優(yōu)化產(chǎn)生對數(shù)據(jù)表結(jié)構(gòu)的修改操作也同步給了災(zāi)備庫，滿足項(xiàng)目的業(yè)務(wù)所需。

　　業(yè)務(wù)多粒度過濾

　　因服務(wù)的業(yè)務(wù)主庫承載多種業(yè)務(wù)，Kingbase FlySync需要對該數(shù)據(jù)庫上各類業(yè)務(wù)產(chǎn)生的數(shù)據(jù)均進(jìn)行解析，并分析識別、過濾掉非“健康碼”業(yè)務(wù)的相關(guān)數(shù)據(jù)，由此需對主庫進(jìn)行用戶級、表級、語句級(DDL語句)過濾，從而將屬于“健康碼”的數(shù)據(jù)準(zhǔn)確無差地同步給備庫。

　　故障自恢復(fù)

　　Kingbase FlySync具備斷點(diǎn)續(xù)傳和自動重啟、自動重連的能力，當(dāng)外部發(fā)生故障后再次恢復(fù)時(shí)，Kingbase FlySync可以自行啟動服務(wù)，并可以從故障點(diǎn)完成其后續(xù)數(shù)據(jù)同步工作。

　　平滑上線

　　客戶首先自行識別切斷原有災(zāi)備方案的數(shù)據(jù)斷點(diǎn)，同時(shí)利用Kingbase FlySync的斷點(diǎn)能力，在Kingbase FlySync中應(yīng)用該斷點(diǎn)信息，使其識別并從該斷點(diǎn)進(jìn)行后續(xù)產(chǎn)生數(shù)據(jù)的解析和同步，從而完成平滑切換，方案上線未對業(yè)務(wù)造成影響，并持續(xù)向公眾提供服務(wù)。

　　跨運(yùn)營商網(wǎng)絡(luò)

　　處于網(wǎng)絡(luò)級可靠性考慮，客戶業(yè)務(wù)主庫和災(zāi)備庫分別部署在移動網(wǎng)絡(luò)和電信網(wǎng)絡(luò)的服務(wù)器上，但災(zāi)備需要業(yè)務(wù)主庫和災(zāi)備庫進(jìn)行實(shí)時(shí)數(shù)據(jù)通信，因此Kingbase FlySync為了適應(yīng)此類網(wǎng)絡(luò)部署方式，提供了網(wǎng)絡(luò)地址映射和轉(zhuǎn)換能力，屏蔽了網(wǎng)絡(luò)差異，最終實(shí)現(xiàn)了數(shù)據(jù)的實(shí)時(shí)同步。

　　此外，金倉提供了本地化實(shí)施運(yùn)維服務(wù)，在應(yīng)急保障環(huán)節(jié)，提供7*24專家級響應(yīng)，確保了該項(xiàng)目的順利上線。

　　實(shí)施成果

　　承載全省16地市6500萬人員“健康碼”業(yè)務(wù)數(shù)據(jù)的災(zāi)備，在該業(yè)務(wù)每日產(chǎn)生15G數(shù)據(jù)量，每日所需同步數(shù)據(jù)條數(shù)300萬條的壓力下，同步時(shí)延小于1s，保證了災(zāi)備庫數(shù)據(jù)與主庫實(shí)時(shí)一致。

　　系統(tǒng)從上線至今已穩(wěn)定運(yùn)行4個月，也將繼續(xù)為“健康碼”業(yè)務(wù)后續(xù)的穩(wěn)定運(yùn)行保駕護(hù)航。

　　針對客戶典型需求，提供了針對性的Oracle的災(zāi)備方案，證明了金倉異構(gòu)同步軟件在基于Oracle等非金倉數(shù)據(jù)庫數(shù)據(jù)集成方面的技術(shù)實(shí)力。此外金倉積極響應(yīng)項(xiàng)目的服務(wù)需求，也得到了客戶的肯定。

　　結(jié)語

　　“健康碼”項(xiàng)目只是人大金倉成千上萬個場景應(yīng)用案例中的一個“縮影”，未來，人大金倉將繼續(xù)緊密貼近應(yīng)用所需，提供更豐富優(yōu)質(zhì)的解決方案，幫助客戶解決各類場景下的數(shù)據(jù)存儲與管理問題。