一文解鎖央企OA系統(tǒng)30萬(wàn)用戶(hù)Oracle 8節(jié)點(diǎn)RAC國(guó)產(chǎn)化高效升級(jí)秘籍

　　“萬(wàn)物互聯(lián)，數(shù)據(jù)和石油一樣成為重要的戰(zhàn)略資源，數(shù)據(jù)庫(kù)行業(yè)不會(huì)一直是贏家通吃，市場(chǎng)上有大量的機(jī)會(huì)”，我在給新入職員工做培訓(xùn)時(shí)，銷(xiāo)售部好兄弟張超電話(huà)打來(lái)告知我來(lái)活了嘿，下午一點(diǎn)到Costa碰面。

　　這是我入職人大金倉(cāng)的第10年，早在大三時(shí)我就報(bào)名參加了人大金倉(cāng)的免費(fèi)培訓(xùn)班，畢業(yè)論文也是受到馮玉老師課程的啟發(fā)，大學(xué)畢業(yè)后加入人大金倉(cāng)，從一個(gè)實(shí)施工程師成長(zhǎng)為高級(jí)項(xiàng)目經(jīng)理后的第三年，已主導(dǎo)十多個(gè)信創(chuàng)領(lǐng)域國(guó)產(chǎn)化升級(jí)改造的解決方案。

　　明月出天山，如何拿大單?

　　下午一點(diǎn)我準(zhǔn)時(shí)到達(dá)約定地點(diǎn)，超哥樂(lè)呵呵的介紹了X央企的OA系統(tǒng)承載30萬(wàn)注冊(cè)用戶(hù)辦公業(yè)務(wù)，系統(tǒng)采用的是國(guó)際巨頭Oracle的8節(jié)點(diǎn)RAC進(jìn)行支撐，沉淀積累了高達(dá)35TB的海量數(shù)據(jù)，擬定5家國(guó)產(chǎn)數(shù)據(jù)庫(kù)廠商參加測(cè)試，超哥說(shuō)已拿到前期測(cè)試名額。第二天，超哥和我拉著測(cè)試、技服等部門(mén)5位同事一起開(kāi)會(huì)討論：X央企的OA系統(tǒng)，界面種類(lèi)繁多，業(yè)務(wù)流轉(zhuǎn)邏輯復(fù)雜，提供了包含公文管理、督辦管理、檔案管理、檔案利用、綜合辦公、個(gè)人管理、信息發(fā)布、用章管理、日常辦公、綜合行政、系統(tǒng)管理、業(yè)務(wù)管理等業(yè)務(wù)功能……

　　如何拿下這個(gè)大單?這是考驗(yàn)我們產(chǎn)品性能和技服人員的硬實(shí)力，要說(shuō)壓力挺大的啊。通過(guò)深入調(diào)研系統(tǒng)業(yè)務(wù)特點(diǎn)和原系統(tǒng)數(shù)據(jù)庫(kù)應(yīng)用情況，結(jié)合業(yè)務(wù)場(chǎng)景，要完成數(shù)據(jù)庫(kù)系統(tǒng)國(guó)產(chǎn)化替代升級(jí)面臨三重挑戰(zhàn)：

　　這幾年，我國(guó)信息技術(shù)自主安全和技術(shù)創(chuàng)新的問(wèn)題得到了空前重視。央企、國(guó)內(nèi)頭部企業(yè)紛紛響應(yīng)，IT系統(tǒng)國(guó)產(chǎn)化升級(jí)，進(jìn)入到實(shí)質(zhì)性階段�；�于X央企對(duì)系統(tǒng)升級(jí)的需求出發(fā)，我和研發(fā)、售前、測(cè)試、X央企的應(yīng)用開(kāi)發(fā)商進(jìn)行了一周的反復(fù)討論碰撞，對(duì)應(yīng)用原架構(gòu)進(jìn)行梳理、分析，結(jié)合數(shù)據(jù)庫(kù)的性能特性、高可用方案、異構(gòu)同步能力等落地可行性，形成了新的解決方案架構(gòu)。為保證系統(tǒng)運(yùn)行的穩(wěn)定性和可靠性，我們決定將系統(tǒng)拆分為集團(tuán)OA和金融OA兩部分，并將金融OA分省分批進(jìn)行國(guó)產(chǎn)化升級(jí)的方案提交給超哥。

　　十年磨一劍，看花落誰(shuí)家?

　　3個(gè)小時(shí)候后，超哥就來(lái)電說(shuō)客戶(hù)已通過(guò)我們的初步提案，下周一到現(xiàn)場(chǎng)和4家友商一同參與測(cè)試。和X央企國(guó)產(chǎn)化改造負(fù)責(zé)人開(kāi)會(huì)確定測(cè)試流程，對(duì)承載用戶(hù)數(shù)據(jù)量和運(yùn)行時(shí)間進(jìn)行實(shí)際測(cè)算，以及30萬(wàn)注冊(cè)用戶(hù)未來(lái)業(yè)務(wù)擴(kuò)展后，海量數(shù)據(jù)翻倍增長(zhǎng)時(shí)系統(tǒng)承載能力和上萬(wàn)并發(fā)時(shí)系統(tǒng)穩(wěn)定性。2021年3月，金倉(cāng)和4家廠商一同在X央企位于北京的總部大樓，開(kāi)啟OA系統(tǒng)初次POC測(cè)試、鯤鵬920+環(huán)境、TPCC測(cè)試、數(shù)據(jù)遷移及典型SQL壓測(cè)、典型業(yè)務(wù)場(chǎng)景壓測(cè)、應(yīng)用適配……TIPS：金倉(cāng)KES數(shù)據(jù)庫(kù)的高性能特性提供內(nèi)置150+優(yōu)化規(guī)則、JIT(SQL運(yùn)行時(shí)編譯)與PLSQL編譯執(zhí)行技術(shù)、CSN快照優(yōu)化、多核NUMA優(yōu)化、進(jìn)程核心綁定、進(jìn)程池化、CAS原子指令級(jí)優(yōu)化等高級(jí)技術(shù)，目前全國(guó)產(chǎn)環(huán)境(鯤鵬920兩路芯片)TPCC測(cè)試，單機(jī)TpmC值超150w。

　　在1000、2000和3000并發(fā)的壓力下，金倉(cāng)實(shí)現(xiàn)毫秒級(jí)的快速響應(yīng)(在兩類(lèi)關(guān)鍵業(yè)務(wù)場(chǎng)景中，平均響應(yīng)時(shí)間分別為2ms和55ms)，性能超過(guò)其他參與測(cè)試的廠商，獲得客戶(hù)的一致認(rèn)可。從第一輪到第七輪，歷經(jīng)半年時(shí)間，18項(xiàng)性能測(cè)試以及系統(tǒng)適配，金倉(cāng)數(shù)據(jù)庫(kù)指標(biāo)最優(yōu)。我不禁唱出了在希望的田野上。2021年7月，項(xiàng)目進(jìn)入了投標(biāo)準(zhǔn)備階段，我們都在緊鑼密鼓的和研發(fā)、技服等部門(mén)溝通細(xì)節(jié)修改標(biāo)書(shū)。8月中旬，迎來(lái)了X央企OA系統(tǒng)國(guó)產(chǎn)化替換升級(jí)項(xiàng)目招標(biāo)的日子，帶著厚厚一摞資料的我和超哥一起到了X央企總部大廈，刺穿云層的陽(yáng)光就像根根金線(xiàn)閃耀著。在與4家友商公開(kāi)競(jìng)標(biāo)中，人大金倉(cāng)再次高分勝出，我和超哥相視一笑。但中標(biāo)只是項(xiàng)目的開(kāi)始，成就客戶(hù)才是目標(biāo)。

　　舉手可近月，實(shí)施見(jiàn)真章

　　項(xiàng)目中標(biāo)后，實(shí)施團(tuán)隊(duì)按照解決方案的思路于2021年8月下旬正式開(kāi)干。

　　1、滿(mǎn)足高并發(fā)高吞吐量的要求

　　01)業(yè)務(wù)按部門(mén)進(jìn)行拆分，由原來(lái)的央企OA拆分為集團(tuán)OA和金融OA，逐步進(jìn)行國(guó)產(chǎn)化替換，第一期金融OA替換，其數(shù)據(jù)量由原來(lái)央企OA系統(tǒng)的總數(shù)據(jù)量35TB分解成約18TB大小;

　　02)冷熱數(shù)據(jù)分離，將占總量67%左右的歷史數(shù)據(jù)拆分到歷史庫(kù)中(獨(dú)立部署的讀寫(xiě)分離集群)，金融OA的生產(chǎn)庫(kù)中數(shù)據(jù)減少到6TB左右，進(jìn)一步降低數(shù)據(jù)庫(kù)壓力，提升數(shù)據(jù)庫(kù)整體性能;

　　03)深入調(diào)研系統(tǒng)業(yè)務(wù)特點(diǎn)和原系統(tǒng)數(shù)據(jù)庫(kù)應(yīng)用情況，該系統(tǒng)的讀寫(xiě)請(qǐng)求比例大致為9:1，所以采用一主三備讀寫(xiě)分離架構(gòu)，可利用各只讀備節(jié)點(diǎn)承接查詢(xún)請(qǐng)求，有效降低主節(jié)點(diǎn)查詢(xún)壓力，提升數(shù)據(jù)庫(kù)整體承壓能力。TIPS：Oracle RAC多節(jié)點(diǎn)的問(wèn)題分析通過(guò)集群件提供的全局高速緩存服務(wù)GCS使用高速緩存融合算法，來(lái)保證每個(gè)實(shí)例中的全局?jǐn)?shù)據(jù)一致性，從而造成整體性能損耗;另外集群件還提供GES全局入隊(duì)服務(wù)，控制對(duì)全局資源的訪問(wèn)，這也會(huì)造成性能的損耗，RAC節(jié)點(diǎn)越多，并發(fā)越大，產(chǎn)生的資源爭(zhēng)用和串行化點(diǎn)越嚴(yán)重，造成的性能損耗越大。

　　2、X央企全國(guó)大集中OA系統(tǒng)平穩(wěn)上線(xiàn)

　　01)在有限的時(shí)間窗口內(nèi)，實(shí)施和研發(fā)團(tuán)隊(duì)7*24小時(shí)支持，使用金倉(cāng)遷移工具高效完成全量數(shù)據(jù)離線(xiàn)遷移實(shí)施工作，從而保證應(yīng)用開(kāi)發(fā)人員和業(yè)務(wù)人員有足夠時(shí)間進(jìn)行內(nèi)部測(cè)試，最終分省上線(xiàn)順利，應(yīng)用系統(tǒng)運(yùn)行良好;

　　02)全量數(shù)據(jù)離線(xiàn)遷移完成后，采用在線(xiàn)增量數(shù)據(jù)實(shí)時(shí)同步工具KFS將金融XC數(shù)據(jù)庫(kù)中的數(shù)據(jù)在線(xiàn)增量同步到金融非XC數(shù)據(jù)庫(kù)中，從而保證金融非XC  OA端數(shù)據(jù)庫(kù)中數(shù)據(jù)完整性，當(dāng)金融XC OA出現(xiàn)故障時(shí)，可以輕松切換回金融非XC OA;

　　03)通過(guò)逐步四批次分省上線(xiàn)，類(lèi)似于試點(diǎn)+推廣的策略，有更從容的過(guò)渡和磨合期，減少對(duì)金融XC  OA系統(tǒng)全國(guó)產(chǎn)化的壓力;4通過(guò)應(yīng)用訪問(wèn)入口統(tǒng)一控制：分省上線(xiàn)用戶(hù)將只訪問(wèn)金融XC OA，其他省用戶(hù)只訪問(wèn)金融非XC  OA;在不改變OA業(yè)務(wù)處理流程及分省上線(xiàn)策略的前提下，滿(mǎn)足金融OA的跨省審批業(yè)務(wù)流程，且產(chǎn)品技術(shù)相對(duì)成熟，風(fēng)險(xiǎn)可控。

　　3、專(zhuān)業(yè)技術(shù)服務(wù)團(tuán)隊(duì)高效完X央企OA系統(tǒng)的國(guó)產(chǎn)化升級(jí)改造人大金倉(cāng)中標(biāo)X央企OA系統(tǒng)國(guó)產(chǎn)化升級(jí)項(xiàng)目后，通過(guò)五步高效完成復(fù)雜場(chǎng)景的國(guó)產(chǎn)化升級(jí)改造，并提升了X央企OA系統(tǒng)的運(yùn)營(yíng)效率：01)方案實(shí)施人員快速入場(chǎng)，同X央企、應(yīng)用開(kāi)發(fā)商建立聯(lián)合工作組，形成問(wèn)題處理快速通道;

　　02)一天內(nèi)完成整體架構(gòu)的安裝部署;

　　03)緊密協(xié)同X央企的應(yīng)用開(kāi)發(fā)商，在兩周內(nèi)完成業(yè)務(wù)拆分、歷史數(shù)據(jù)遷移;

　　04)經(jīng)多次測(cè)試演練，達(dá)到9小時(shí)完成6TB+數(shù)據(jù)的完整遷移的性能指標(biāo);

　　05)通過(guò)一個(gè)月時(shí)間，分四批次完成全國(guó)31個(gè)省的OA系統(tǒng)整體上線(xiàn)。同時(shí)，搭建了基于KFS的雙軌運(yùn)行環(huán)境，以保障上線(xiàn)系統(tǒng)的數(shù)據(jù)完整性和業(yè)務(wù)連續(xù)性。

　　紙上得來(lái)終覺(jué)淺，人大金倉(cāng)行致遠(yuǎn)

　　從2021年2月接到需求，到2021年12月X央企OA系統(tǒng)國(guó)產(chǎn)化升級(jí)改造的完美上線(xiàn)，作為高級(jí)項(xiàng)目經(jīng)理，感觸頗深的是，你全力以赴后，才會(huì)知道你行不行�，F(xiàn)在，借助人大金倉(cāng)創(chuàng)新的數(shù)據(jù)庫(kù)整體解決方案，X央企的全國(guó)大集中OA系統(tǒng)正持續(xù)穩(wěn)定運(yùn)行，金倉(cāng)數(shù)據(jù)庫(kù)管理系統(tǒng)具備高可用、高并發(fā)、隱私、合規(guī)等數(shù)據(jù)庫(kù)行業(yè)高標(biāo)準(zhǔn)，滿(mǎn)足央企集團(tuán)30萬(wàn)用戶(hù)辦公系統(tǒng)海量業(yè)務(wù)無(wú)損耗、數(shù)據(jù)一致性、數(shù)據(jù)安全性等全面國(guó)產(chǎn)化的升級(jí)改造需求，該項(xiàng)目的成功實(shí)施讓X央企對(duì)金倉(cāng)自主研發(fā)的OLTP數(shù)據(jù)庫(kù)系統(tǒng)信心滿(mǎn)滿(mǎn)。在全球數(shù)字化和信息技術(shù)讓數(shù)據(jù)流轉(zhuǎn)加快的當(dāng)下，數(shù)據(jù)存儲(chǔ)、管理和價(jià)值挖掘已成為大型企業(yè)發(fā)展的剛需，人大金倉(cāng)將以超出數(shù)據(jù)庫(kù)行業(yè)的技術(shù)標(biāo)準(zhǔn)服務(wù)客戶(hù)，一起點(diǎn)亮數(shù)字化時(shí)代的人間煙火。